Roosevelt's far Isaac Roosevelt var fjerde generations efterkommer af Nicholas Roosevelt (1658-1742), som også var en sjette generations forfader til Theodore Roosevelt. Hans kone Mary Aspinwall var en sjette generations efterkommer af Rebecca Stoughton, søster til William Stoughton, dommer og anklager under Hekseprocesserne i Salem.  Forretning Roosevelt's forretningsinteresser drejede sig primært om kul og transport. Han var vicepræsident i Delaware and Hudson Railway og præsident for Southern Railway Security Company. James var en høj, slank og velhavende mand med betydelige forbindelser i samfundet, et passende parti efter enhver standard. I 1853 giftede han sig med sin slægtning Rebecca Howland (1831–1876). De fik en søn, James "Rosy" Roosevelt, Jr (1854–1927). James blev enkemand i 1876.