Arthur Phillip sinh ngày 11 tháng 10 năm 1738, là con của hai người con Jacob Phillip và Elizabeth Breach. Cha của anh, Jacob sinh ra ở Frankfurt, Đức. Anh ấy là một giáo viên ngôn ngữ, người cũng có thể đã phục vụ trong Hải quân Hoàng gia với tư cách là một người đi biển và người quản lý săn đuổi tài năng.