In 1162, he suffered the dismissal from Inaba no kuni no kami and from "Uma no kami" (Captain of the Right Division of Bureau of Horses), because he was on a charge of taking part with TAIRA no Motomori, TAIRA no Tokitada and others in a conspiracy.
応保元年（1162年）には、平教盛、平時忠らとともにある陰謀に加わったかどで、因幡守、右馬頭を解官される憂き目に逢っている。