After following Hideyoshi TOYOTOMI, Toyonao joined an army to subjugate Inaba Province in 1580 and entered Kageishi-jo Castle, where Toyokuni YAMANA, siding with the Mori clan at that time, forced them out of the castle.
豊臣秀吉に従った後、天正8年（1580年）の因幡国平定の軍に加わり、景石城に入ったが当時毛利氏方であった山名豊国に攻撃されて城から退却した。