After that, he became one of the Kugyo of anti-Shogunate group with Tomomi IWAKURA and impeached Nariyuki NIJO, the chief adviser to the Emperor, and Imperial prince Nakagawa no miya Asahiko who were Sabaku-ha (supporters of the Shogun) in 1866.
しかしその後、岩倉具視と手を結んで討幕派公卿の一人となり、慶応2年（1866年）には佐幕派であった関白の二条斉敬と中川宮朝彦親王を弾劾した。