Han var ældste søn af baron Johan Raben-Levetzau til Aalholm og Ida Marie "Misser" Ingeborg Konow, der var en datter af admiral Henri Konow, som stod for overdragelsen af de dansk-vestindiske øer til amerikanerne. På grund af en strid med faren arvede han ikke godset og ernærede sig i stedet som malermester. Ved farens død 1992 arvede halvbroren John Otto Raben-Levetzau Aalholm, men havde kun godset til 1995, hvor han på grund af dårlig økonomi var nødsaget til at sælge det til erhvervsmanden Stig Husted-Andersen. Frederik Raben-Levetzau skrev gennem årene en række bøger og artikler om sin hjemegn Lolland-Falsters historie, kulturhistorie og landskaber og flere skønlitterære værker. 7. juni 1957 ægtede han i Tikøb Kirke Birgit Paula Jerichow (født 8. september 1933), datter af direktør Herbert Peter Andreas Jerichow og Eva Dessau. Parret fik to sønner og en datter.