After Masamoto was assassinated in 1507 an internal dispute regarding the HOSOKAWA (KEICHO) family's heir (Eisho Trouble) erupted; in April of the following year, 1508, upon hearing that the OUCHI army supporting the former Shogun Yoshitada (formerly named Yoshiki) was advancing to Kyoto Yoshizumi escaped to Kuchikidani seeking support from Takayori ROKKAKU of Oumi, and he escaped further to Okayama in Gamou-gun.
永正4年（1507年）に政元が暗殺され細川氏（京兆家）の家督をめぐる内訌が生じ（永正の錯乱）、翌永正5年（1508年）4月、前将軍義尹（義材より改名）を擁立する大内軍が上洛してくるとの報により、近江の六角高頼を頼って朽木谷、さらに蒲生郡岡山に逃れた。