Frederik blev født den 9. september 1826 i Karlsruhe. Han var fjerde barn og tredje søn af Storhertug Leopold (1790-1852) og Storhertuginde Sophie (1801-1865), der var datter af Kong Gustav 4. Adolf af Sverige. I 1852 blev Frederik regent for sin sindssyge bror Storhertug Ludvig 2., og i 1856 udråbtes han som storhertug, da lægerne havde opgivet at kurere hans bror.