Kiyouji HOSOKAWA and other potential military commanders supported the Southern Imperial Court, and in 1361, when Kiyouji and Masanori KUSUNOKI of the Southern Imperial Court occupied Kyoto, Yoshimitsu was obliged to escape to the Shirahata Castle in Harima Province.
やがて政争で失脚した細川清氏などの有力武将が南朝勢力に加担し、1361年（正平(日本)16年/康安元年）には清氏や南朝の楠木正儀らに京都を占領され、義満は赤松則祐の居城播磨国白旗城へ避難を余儀なくされた。