Prins Ludvig var søn af prins Franz Maria Luitpold af Bayern (1875–1957) og prinsesse Isabella Antonie af Croÿ (1890–1982). Han var sønnesøn af Ludvig 3., der var den sidste konge af  Bayern.  Familie Prins Ludvig giftede sin med sin kusine prinsesse Irmingard af Bayern (den ældste overlevende datter af Rupprecht, kronprins af Bayern). Prins Ludvig og prinsesse Irmingard fik tre børn, men kun én af dem - Luitpold af Bayern (nummer to i den wittelsbachske arvefølge) - overlevede den tidligste barndom.  Ludvig og Irmingard blev desuden bedsteforældre til prins Ludvig Henrik af Bayern (nummer tre i den wittelsbachske arvefølge).