Because of the occupation of Mimana by Silla in 540, he was accused of the foreign policy failure (the ceding of Mimana and so on) by MONONOBE no Okoshi and fell from his position and retired.
そして、540年には新羅が任那地方を併合するという事件があり、物部尾輿などから外交政策の失敗（先の任那4県割譲など）を糾弾され失脚して隠居する。