Hamilton được sinh ra ngoài giá thú ở Charlestown, với một người mẹ đã kết hôn là người Anh và người Pháp gốc Huguenot và một người cha là người Scotland. Cha của ông, James A. Hamilton, là con trai thứ tư của laird Alexander Hamilton ở Grange, Ayrshire. Mồ côi từ nhỏ bởi cái chết của mẹ và bị cha bỏ rơi, Hamilton được nhận nuôi bởi một người anh họ lớn tuổi và sau đó là một gia đình thương gia thịnh vượng.