However, when Yoshioki OUCHI, a supporter of the previous Shogun Yoshitane, raised an army in 1508 to advance to Kyoto, Yoshizumi fled to Oumi Province and was removed from the position as the Shogun; he died without returning to the position [of Shogun].
しかし、永正5年（1508年）に前将軍義稙を擁立する大内義興が上洛の軍を起こしたため、近江国へ逃れて将軍職を廃され、復帰できないまま死去した。