After the death of Tadayoshi in 1351, he temporarily changed his position to the Shogun side, but due to the conflict with Doyo SASAKI on the position of Shugo in Izumo and others, in 1353, he raised an army against the bakufu and advanced to Izumo.
51年に直義が死去すると、一時は将軍派に転身するが、出雲の守護職を巡る佐々木道誉との対立もあり、53年には幕府に対して挙兵して出雲へ進攻した。