However, the Tokugawa clan reduced the Ii clan's territory by 100,000 koku crop yields as punishment and began to give them the cold shoulder after Naosuke carried out Ansei no Taigoku (suppression of extremists by the Shogunate) in 1859, and was assassinated in the Sakuradamongai Incident in 1860.
しかし、直弼が安政6年（1859年）に安政の大獄を起こし、その後、安政7年（1860年）の桜田門外の変で暗殺された後、10万石の減封を受け、徳川氏から冷遇されるようになった。