According to "Gyokuyo" (The Diary of Kanezane KUJO), a record on the Kyoto side (section of January 26, 1200), Kagetoki, against whom other samurais jealously held a grudge, reported to Yoriie the conspiracy of those supporting MINAMOTO no Sanetomo, a younger brother of Yoriie, for the shogunate, and confronted other samurais only to be accused of slander, which resulted in his expulsion from the clan.
京都側の記録である『玉葉』（正治2年正月2日条）によると、他の武士たちに嫉まれ、恨まれた景時は、頼家の弟源実朝を将軍に立てようとする陰謀があると頼家に報告し、他の武士たちと対決したが言い負かされ、讒言が露見した結果、一族とともに追放されてしまったという。