The next month, he was impeached by MINAMOTO no Yoritomo as a pro-Yoshitsune retainer together with TAKASHINA no Yasutsune and TAIRA no Chikamune; as a result, he was dismissed from the Board of Chamberlains.
翌月、親義経派の廷臣の一人として高階泰経や平親宗らと共に源頼朝より弾劾され、侍従職を解官されている。