Since being a favored daimyo of TOYOTOMI, then he feared that Ieyasu considered him dangerous, he stayed and guarded Edo Castle during the Fuyu no Jin (the Winter War in Osaka) from 1614 and served the second Shogun Hidetada TOKUGAWA during the Natsu no Jin (the Summer War in Osaka) in 1615.
その後は豊臣恩顧の大名であったが、家康に危険視されることを恐れて、慶長19年（1614年）からの豊臣氏との戦いである大坂冬の陣では江戸城留守居を務め、慶長20年（1615年）の大坂夏の陣では2代将軍・徳川秀忠に従って徳川方として参加した。