According to "Koenkishusei" (A History of Kisofukushima Town), the clan started when 木曾家佐 (Iesada KISO's son), a nephew of Iemura KISO (claimed to be the seventh descendent of Yoshinaka KISO), the lord of the Kiso family in Kiso-dani Valley, Shinano Province, settled in Ueno, Kiso County.
『高遠記集成』（『木曽福島町史』）によると、信濃国木曾谷の木曾家領主・木曾家村（木曾義仲七世孫と称する）の甥・木曾家佐（木曾家定の子）が木曽郡上野に土着したことから始まるという。