In 1632, when Tadatoshi became feudal lord of land in Kumamoto Domain in Higo Province with yield of 540,000 koku and moved to Kumamoto Castle, Tadaoki decided to retire to the Kita-no-maru (the north keep) of Yatsushiro Castle in South Kumamoto.
寛永9年（1632年）、忠利が肥後国熊本藩54万石の領主として熊本城に移封されると熊本の南の八代城に入り北の丸を隠居所とした。