Barndom William Carey, Henrys far, døde pludselig af den engelske svedesot den 23. juni 1528, da Henry kun var 2 år, og han og hans storesøster Catherine Carey kom under formynderskab af deres moster Anne Boleyn, der på det tidspunkt var forlovet med kong Henrik, der brændende ønskede sig en søn, som kunne efterfølge ham på tronen.