Since the lord of the Yonago Domain Sadayasu KATO was transferred to the Ozu Domain Iyo Province (Ehime Prefecture) in 1617, Toju moved with his grandparents.
1617年（元和(日本)2年）米子藩主加藤貞泰が伊予国大洲藩（愛媛県）に国替えとなり祖父母とともに移住する。