Caleb var en skibsreder og købmand med forstand på penge, men embargoloven fra 1807, som forbød amerikanske skibe at sejle varer til andre lande, og den Britisk-amerikanske krig (1812) bragte hans familie i økonomiske vanskeligheder.