Ohlendorf blev født i Hoheneggelsen nær Hildesheim i Tyskland, i en landbrugsfamilie. Han gik i 1925 ind i NSDAP med medlemsnummer 6631, og i 1926 sluttede han sig til SS. Han studerde økonomi og jura ved Universitetet i Leipzig og Universitetet i Göttingen, og fra 1930 holdt han forelæsninger ved flere økonomiske institutter.  Tidligt i 1936 blev han økonomisk konsulent for SD, og fik graden Hauptsturmführer i SS. I maj samme år blev han forfremmet til Sturmbannführer og fik en vigtigere position. I 1939 kom næste forfremmelse, til Standartenführer og til chefstillingen i Amt III ved Reichssicherheitshauptamt (RSHA). Denne stilling havde han indtil krigens slutning i 1945. Fra 1943 var han vicegeneraldirektør ved Rigsfinansministeriet, og fra 1944 Gruppenführer i SS.  Einsatzgruppen I juni 1941 udnævnte Reinhard Heydrich, lederen for RSHA, Ohlendorf til kommandant for Einsatzgruppe D, som var aktiv i det sydlige Ukraine og på Krimhalvøen. Under Ohlendorfs kommando var enheden den 13. december 1941 ansvarlig for massakren på mindst 14.300 mennesker i Simferopol. De fleste af ofrene var jøder. Totalt er mindst 90.000 drab tilskrevet enheden.  Nürnbergprocessen Ohlendorf blev efter krigens afslutning tiltalt for krigsforbrydelser, forbrydelser mod menneskeheden og medlemskab i SS og SD. Han blev stillet for retten i Einsatzgruppenprosessen; Han var svært åben i sine udtalelser under processen, og styrkede påstanden om, at hans enhed havde dræbt omkring 90.000 mennesker. Han viste ingen anger.  Ohlendorf skræmte de tilstedeværende i retten, fordi han virkede så "normal". Anklageren, Benjamin Ferencz, oplevede ham som en pænt udseende, intelligent, velinformeret familiefar. Men Ohlendorf var den eneste anklagede under Nürnberg-processen, som åbent tilstod sine handlinger. Han syntes NS-ideologien med sin opfattelse af livet, som en kamp virkede fornuftig. I felten var han optaget af at skåne mordernes psyke ved at sørge for, at to ad gangen skød på hvert offer. Ofrene interesserede han sig ikke for. Fra felten skrev han til sin kone, at han havde gjort mere for nationalsocialismen med sin "befolkningspolitiske virksomhed", end han havde gjort ved skrivebordet.  Han blev dømt til døden og henrettet i Landsberg fængsel 7. juni 1951. Han gav ikke udtryk for nogen skyldfølelse eller anger. Tværtimod mente han, at kunne retfærdiggøre bl.a. mord på børn. Anklageren Ferencz spurgte ham: "Skal jeg meddele familien noget, vil De sige eller skrive noget, kan jeg gøre Dem en tjeneste?" Ohlendorf så bare opgivende på ham og svarede: "Jøderne i Amerika kommer til at lide. De vil selv få at se hvad De har gjort."