However, he came under counterattacks from Toshimitsu KAI, who was the legitimate son of Jochi KAI, and the Ninomiya clan, and died in hardship in 1481 at the age of fifty-four.
しかし、甲斐常治の嫡子である甲斐敏光や二宮氏らの反撃を受け、一時苦境に立たされる中、文明13年（1481年）、54歳で死去する。