Before long, Yoshinaka lost confidence and popularity and confronted Cloistered Emperor Goshirakawa and, in February 1184, Yoshinaka was overthrown by MINAMOTO no Noriyori and MINAMOTO no Yoshitsune sent by MINAMOTO no Yoritomo in Kamakura.
やがて、義仲は信望を失い、後白河法皇とも対立して、寿永3年（1184年）正月に鎌倉の源頼朝が派遣した源範頼・義経によって滅ぼされた。