Han var ældste søn af baron Johan Raben-Levetzau til Aalholm og Ida Marie "Misser" Ingeborg Konow, der var en datter af admiral Henri Konow, som stod for overdragelsen af de dansk-vestindiske øer til amerikanerne.