Philip Pullman прекара голяма част от детството си, докато пътуваше в чужбина, защото и баща му, и вторият му баща бяха пилоти в Кралските военновъздушни сили. "Като дете той беше започнал няколко дълги океански пътешествия, но живееше в Африка и в Австралия. "В Австралия направих голямо откритие. Телевизията все още не беше стигнала до Австралия, но всички слушаха радиото. Спомням си, че слушах за гангстерски сериали и каубои.
Бил е пилот в Кралските военновъздушни сили. Учил е в осем различни училища в Африка. Насърчен е да пише от баща си и втория си баща. Пътувал е много, когато е бил малко дете.