When Okitsugu was overthrown the following year, as he was a feudal lord of pro-Tanuma group, he was imposed sanctions for committing fraud and violating service regulations while in Fushimi bugyo on June 9, 1788, and left to the Okubo family, the lord of the Odawara Domain, Sagami Province, by Sadanobu MATSUDAIRA who tied to purge the Tanuma group thoroughly.
翌年に意次が失脚すると、親田沼派の大名であったということから、田沼派の徹底的な粛清を図る松平定信によって天明8年（1788年)5月6日伏見奉行在職中、不正、服務規程違反などがあったために改易され、相模国小田原藩主大久保家にお預けの身となった。