In February and March 1607, his adultery with a court lady was revealed, and the infuriated Emperor Goyozei punished him by chokkan (expulsion from around the Emperor).
慶長12年（1607年）2月には、女官との密通が露顕し、激怒した後陽成天皇から勅勘（天皇からの勘当）を蒙る。