In 1599, however, he was punished together with his son, Michiyo by the ordinance of the Emperor Goyozei and was finally expelled from Kyoto because of a scandal with a court lady.
しかし慶長4年（1599年）には女官との醜聞がたったことで子の通世とともに後陽成天皇の勅勘を被り、京都から追放されている。