Arthur Phillip lahir pada 11 Oktober 1738, anak bungsu dari dua bersaudara dari pasangan Jacob Phillip dan Elizabeth Breach. Ayahnya Jacob lahir di Frankfurt, Jerman. Dia adalah seorang guru bahasa yang mungkin juga pernah bertugas di Royal Navy sebagai pelaut yang cakap dan pelayan purser.