The clan started when Masahira KOBAYAKAWA, the third son of Shigehira KOBAYAKAWA, settled in the Takayama-jo Castle (Aki Province) after receiving the estate of Nuta Honjo, etc.
小早川茂平の三男・小早川雅平が沼田本荘などを与えられ、高山城(安芸国)を本拠としたのが始まりである。