Hagedorn-Olsen startede som malersvend i Svendborg og gik på Teknisk Skole, København under Thorsen fra 1923 til 1924. Derefter var han i lære hos Othon Friesz i Paris fra 1924 til 1925. Efter sin hjemkomt studerede han på Det Kongelige Danske Kunstakademi fra 1926 til 1929 under blandt andre Sigurd Wandel og Ejnar Nielsen. Han modtog Carl Jul. Petersens Legat 1926, understøttelse fra Den Raben-Levetzauske Fond 1931, Eibeschütz' Præmie 1932, Carlsons Præmie 1933, Carlsons Legat 1934-35 og 1936 samt Den Neuhausenske Præmie 1935.  Personlig baggrund Hagedorn-Olsen boede i mange år i Marbæk ved Roskilde Fjord hvorfra han hentede motiver og inspiration til sine landskabsbilleder. Han samarbejdede ved flere lejligheder med sin søn, keramikeren Jeppe Hagedorn-Olsen (født 1929). Han havde også en datter Bodil, der var kunstner og mor til Thomas Eje. Hagedorn-Olsen fik gennem mange år produceret og leveret rammer til sine billeder fra sin gode ven rammefabrikant Børge Christian Jeppesen. I 1936 deltog Hagedorn-Olsen i kunst konkurrencen i de olympiske lege i Berlin.