In 1864, he was pardoned, but in 1866 he was confined after the abortion of his attempt to expel pro-Tokugawa nobles such as Imperial Prince Kuninomiya Asahiko or Nariyuki NIJO.
元治元年（1864年）に赦免され、慶応2年（1866年）には親幕派の久邇宮朝彦親王や二条斉敬らの追放を試みるが失敗して幽門させられる。