After his death, Ansei no Taigoku (suppression of extremists by the Shogunate) was declared illegal, and the Hikone Domain was punished by a reduction in territory to 100,000 koku (18,039 cubic meters) by order of the bakufu in 1862.
死後の文久2年（1862年）、安政の大獄を行なったことを罪にされて、幕命により彦根藩は10万石減封されている。