Gounods mor var pianist, hans far var tegner. Moren var Gounods første klaverlærer. Han blev senere optaget på konservatoriet, hvor han studerede under Fromental Halévy. I 1839 vandt Gounod Prix de Rome for sin kantate, Ferdinand. Han tog da til Italien, hvor han studerede Palestrinas musik. I 1851 skrev Gounod sin første opera, Sappho, men den var ikke nogen stor succes. Det var med Faust fra 1859, der bygger på Goethes skuespil, at Gounod fik sit gennembrud. Faust er Gounods bedst kendte værk. I 1867 fulgte premieren på den romantiske og melodiøse Romeo og Julie (Roméo et Juliette), der bygger på Shakespeares skuespil. Det opføres stadig. Fra 1870 til 1875 boede Gounod i England, hvor han var chefdirigent for det der nu er Royal Choral Society. I denne periode skrev Gounod megen musik for stemmer og kor. Senere i livet skrev Gounod mange religiøse værker. Hans "Ave Maria" er skrevet over Bachs Præludium i C-dur. Hans oratorier og kantater er for følelsesbetonede for den moderne smag. De var meget populære i det victorianske England. Han var en dygtig og særpræget harmoniker, melodiker og instrumentator.