On October 22, 1754, he handed over the family headship to the first son of him Mitsutsune for retirement and then went to the Arima-onsen Hotspring in Settsu Province to recuperate in 1760.
宝暦4年（1754年）9月7日、長男の光庸に家督を譲って隠居し、宝暦10年（1760年）には病気療養を理由に摂津国有馬温泉にて保養した。