In 770 the death of Emperor Shotoku caused Dokyo and Kiyohito's downfall, and Kiyohito was therefore banished to Tosa Province along with his three children.
翌宝亀元年（770年）、称徳天皇の死により道鏡とともに失脚し、三人の子とともに土佐国に流罪となった。