It is believed that this behavior caused a backlash from Muromachi bakufu, shugo and local lords of Izumo Province, and they besieged Tsunehisa's castle in 1484 and expelled him from Izumo Province after dismissing him from the post of shugodai, but further details are unknown.
これが原因となり室町幕府・守護・出雲国人からも反発を受け、文明16年（1484年）に居城を包囲され、守護代の職を剥奪されて出雲から追放されたと言われているが、詳細は不明。