Allerede i februar 1853 pådrog han sig i Carl Steen Andersen Billes dagblad Nationaltidende en skarp bebrejdelse for under devisen "Hvad kan det hjælpe?" at have skilt sig fra sine partifæller og stemt med helstatsministeriet for toldgrænsens flytning fra Ejderen til Elben.