Later, after returning from the capital, Naotsune built the Miiritakamatsu-jo Castle in 1347 on Mt. Takamatsu, an important point looking down the town of Kabe, (it is also said that he chased away the NIKAIDO clan, the lord of the Miiritakamatsu-jo castle at the time) and lived there.
その後帰国した直経は、南朝：正平2年/北朝：貞和3年（1347年）に、可部の街を見下ろす要衝の高松山に三入高松城を築城し（当時三入高松城主だった二階堂氏を追い出したとも）、新たな居城とした。