In the 1651 Keian no Hen (Conspiracy of Keian), the Shogunate suspected him of plotting a rebellion because Shosetsu YUI had forged Yorinobu's sealed papers, and he couldn't return to Kishu for 10 years.
1651年（慶安4年）の慶安の変において、由井正雪が頼宣の印章文書を偽造していたため幕府に謀反の疑いをかけられ、10年間紀州へ帰国できなかった。