Robert FitzRoy sinh ra tại Ampton Hall, Ampton, Suffolk, Anh, thuộc tầng lớp thượng lưu của quý tộc Anh và có truyền thống phục vụ công cộng. Thông qua cha mình, Tướng Charles FitzRoy, Robert là cháu trai thứ tư của Charles II của Anh; ông nội của ông là Augustus Henry FitzRoy, Công tước thứ 3 của Grafton.