Inden 1. verdenskrig gjorde Gerow tjeneste i en række opgaver som officer i enheder af kompagnistørrelse i infanteriet. I 1915 blev han rost for sin indsats under den orkan som ramte Galveston, Texas. Han gjorde tjeneste i Veracruz under felttoget i Mexico. Han blev forfremmet til premierløjtnant den 1. juli 1916 og til kaptajn den 15. maj 1917. Fra 16. januar 1918 til 30. juni 1920 og under 1. Verdenskrig var han i signalkorpsets stab i Frankrig. Han var midlertidig oberst og ansvarlig for anskaffelse af alt radioudstyret til AEF. For sin indsats fik han Distinguished Service Medal og den franske Æreslegion. Efter at være vendt tilbage til Amerika blev han forfremmet til den permanente rang af major den 1. juli 1920. Han fik ordre til at følge et videregående kursus på U.S. Army Infantry School i Fort Benning, Georgia, i efteråret 1924. Han tog eksamen som den bedste i klassen i 1925. Det skal bemærkes at Omar Bradley blev næstbedst. Gerow gik på U.S. Army Command and General Staff school, hvor Dwight D. Eisenhower var hans studiekammerat og tog eksamen i 1926, som nr. 11 i en årgang på 245. I 1931 afsluttede han Field Officer's Course i kemisk krigsførelse og kampvogne og tog et kursus ved Army War College. Gerow gjorde tjeneste i Kina i 1932 i Shanghai området. Den 1. august 1935 blev han forfremmet til permanent oberstløjtnant. Den 1. september 1940 blev han permanent oberst og en måned senere 1. oktober blev han midlertidig brigadegeneral.  2. Verdenskrig Nogle historikere fortæller, at Gerow var en af flere højtrangerende officerer og medlemmer af præsidentens stab, herunder præsidenten, som fik adskillige meddelelser, der advarede dem om Angrebet på Pearl Harbor. Gerow er blevet beskyldt for ikke at have advaret den kommanderende general på Hawaii og for at have undladt at implementeret fælles hær og flådeaftaler om at sikre den rette funktion. Han blev forfremmet til generalmajor den 14. februar 1942 og blev chef for 29. infanteridivision den 16. februar 1942. Han modtog Legion of Merit den 27. september for sit arbejde som chef for en division og som assisterende stabschef i War Plans Division. Han fortsatte som chef for divisionen indtil 17. juli 1943. Han blev chef for 5. Korps den 17. juli 1943. Dette var den største troppeenhed i det europæiske operationsområde. Han spillede en stor rolle i planlægningen af invasionen i Normandiet. Han var den første korpschef, som gik i land på D-dag den 6. juni 1944. 5. Korps bestod af 2 infanteridivisioner, 1. og 29. infanteridivision. Hans tid som chef for 5. korps varede frem til 17. september 1944 og igen fra 5. oktober 1944 til 14. januar 1945. General Gerow holdt sig tæt på sine fremrykkende tropper i 5. korps. Han var den første amerikanske generalmajor i Paris efter dens befrielse ved 2. franske pansrede division og 4. amerikanske infanteridivision. For sin indsats i dette felttog blev han tildelt Silver Star. Korpschefer kunne forlade deres poster ved at blive forfremmet til højere poster (eller blive fyret). I februar 1945 udarbejdede Dwight D. Eisenhower en liste over officerer efter værdien af deres indsats i krigen. Gerow var nr. 8 ud af 32. I et brev til George Marshall den 26. april 1945, vedrørende ledere som kunne overføres til tjeneste i Stillehavet anbefalede Eisenhower Omar Bradley højest og skrev derefter: "I Europa er der andre mænd, som er blevet grundigt testet som højtstående chefer i kamp, herunder Simpson, Patch, Patton, Gerow, Collins, Truscott og andre. Enhver af disse kan med succes lede en hær i kamp under de mest vanskelige omstændigheder." (Papers of Eisenhower, IV, pp. 2647–2648). Gerow fik kommandoen over 15. armé den 15. januar 1945. Han blev forfremmet til generalløjtnant den 6. februar 1945, med rang fra 1. januar 1945.  Karriere efter 2. Verdenskrig Efter krigen blev generalløjtnant Gerow udpeget som kommandant for hærens Command and General Staff School. Gerow blev sat i spidsen for en komite, som undersøgte og afgav forslag om hvordan hærens skoler skulle organiseres efter krigen. I februar 1946 anbefalede komiteen at der skulle være fem adskilte colleges. I januar 1948 blev han udnævnt til kommanderende general for 2. armé. Det var hans sidste post. Han lod sig pensionere i juli 1950. Gerow blev udnævnt til general den 19. juli 1954 ved en særlig beslutning i Kongressen (Public Law 83-508). General Gerows bror, Lee S. Gerow tog eksamen fra VMI i 1913 og endte som brigadegeneral.