Ayah Paley, Samuel Paley, adalah seorang imigran Yahudi dari Ukraina yang menjalankan perusahaan cerutu. Ketika perusahaan menjadi semakin sukses, Paley menjadi jutawan, dan memindahkan keluarganya ke Philadelphia pada awal 1920-an.