Han var søn af den sachsiske matematikprofessor Richard Olbricht. Efter Abitur (artium) trådte han ind i infanteriregiment 106 i Leipzig som fanejunker og deltog mellem 1914 og 1918 i 1. verdenskrig. I 1919 blev han som kaptajn overført til Reichswehr. I 1926 blev han leder for afdelingen Fremde Heere i Forsvarsministeriet, og 1933 blev han stabchef for divisionen i Dresden. I 1935 blev han stabschef for armékorps IV, stationeret i Dresden, og i 1938 overtog han ledelsen af den 24. infanteridivision. Han deltog som divisionskommandør i invasionen af Polen i 1939 og modtog Jernkorsets Ridderkors. Den 15. februar 1940 blev han udnævnt til general af infanteriet. Han fik ansvar for ledelsen af det almindelige hærkontor i overkommandoen for hærledelsen. I 1943 blev han leder for reservehærkontoret ved OKW. Han havde forbindelse med antinazistiske kredse omkring generaloberst Ludwig Beck, Carl Friedrich Goerdeler og Henning von Tresckow og deltog i udarbejdelsen af attentatet på Hitler. I 1943 skaffede han Claus von Stauffenberg en stilling i Bendlerblock. Den 20. juli udløste han sammen med Albrecht Ritter Mertz von Quirnheim Operation Valkyrie for ved hjælp af reservehæren at tage kontrol over riget. Da attentatet mislykkedes blev han natten til den 21. juli henrettet ved skydning sammen med Stauffenberg, Quirnheim og løjtnant Werner von Haeften.