Putra imigran Jamaika Luther dan Maud Powell, Colin dibesarkan di Bronx Selatan. Powell dididik di sekolah umum New York City, dan lulus dari Morris High School pada tahun 1954 tanpa rencana pasti ke mana dia ingin pergi dalam hidup. Di City College of New York, tempat Powell belajar geologi, ia menemukan panggilannya di Korps Pelatihan Perwira Cadangan (ROTC).