It is unknown from when the clan started to serve the Yamana clan of Inaba, but the name "Saemontayu TAKEDA" can be seen in the "Inryoken Nichiroku" dated December 16, 1491 as one of vassals of Toyotoki YAMANA.
いつ頃から因幡山名氏に仕えたのかは不明だが、『蔭涼軒日録』延徳3年（1491年）11月6日条に山名豊時家臣として「武田左衛門大夫」の記述が見える。