Là con trai của những người nhập cư Jamaica Luther và Maud Powell, Colin lớn lên ở South Bronx. Powell được đào tạo tại các trường công lập của Thành phố New York, và tốt nghiệp trường Trung học Morris vào năm 1954 mà không có bất kỳ kế hoạch rõ ràng nào về nơi anh muốn đến trong đời. Tại trường Cao đẳng Thành phố New York, nơi Powell học địa chất, anh đã tìm thấy lời kêu gọi của mình trong Quân đoàn Huấn luyện Sĩ quan Dự bị (ROTC).