However, he was exiled from Kawachi in 1569, due to the scheming of Nobuyori YUSA, a chief retainer who plotted to use the family as a puppethead.
しかし主家を傀儡化しようと企んでいた重臣の遊佐信教によって永禄12年（1569年）に河内から追放され、紀伊に移った。