Henrys mor, Lady Mary Carey, var kongen af Englands elskerinde, og dette forhold begyndte et sted i 1520 . Den præcise dato for begyndelsen og enden af affæren kendes ikke, men da Henry blev født i marts 1526, menes den at have været afsluttet . Rygter har altid cirkuleret om, at Henry var et uægte barn af kong Henrik den 8., og i 1536 udtalte John Hales, sognepræst i Isleworth, efter sit første møde med Henry, at han havde mødt en ung kong Henrik . Ideen om, at Henry var kongens uægte søn, blev holdt i live i utallige Tudor-historier, og den var så standhaftig, at den kom med i den fiktive roman af Philippa Gregorys Den anden søster (baseret på Mary Boleyns liv).  Barndom William Carey, Henrys far, døde pludselig af den engelske svedesot den 23. juni 1528, da Henry kun var 2 år, og han og hans storesøster Catherine Carey kom under formynderskab af deres moster Anne Boleyn, der på det tidspunkt var forlovet med kong Henrik, der brændende ønskede sig en søn, som kunne efterfølge ham på tronen. Børnene havde tæt kontakt til deres mor, der holdt sig på god fod m0ed sin søster for deres skyld. Men da Mary forelskede sig og hemmelig indgik ægteskab med soldaten William Stafford, brød resten af familien Boleyn kontakten med hende . Anne Boleyn tog sig af sin nevøs opdragelse og sørgede for, at han fik de bedste lærere fra Cistercienserordenen. Han modtog også undervisning af den franske poet Nicholas Bourbon, hvis liv blev reddet fra den franske inkvisition.  Henrys royale moster blev halshugget i maj 1536, da han var 10 år gammel, og hans mor døde kun 7 år efter på sin ejendom i Essex, som hun havde arvet efter sine forældre .  Den 21. maj 1545 giftede han sig med Anne Morgan, datter af Thomas Morgan, og Anne Whitney fra Arkestone, Hertfordshire.