Kaj Baagø voksede op i et stærkt indremissionsk miljø som søn af toldforvalter Hans Baagø-Hansen og Esther Baagø-Hansen, og barndommen kom i første omgang til at præge hans valg af uddannelse og arbejdsfelt.