Tom telah berkencan dengan banyak wanita di masa lalu. Dia menikah dengan mantan pasangan Sarah Ward dari 1999 hingga 2004. Tom kemudian mulai berkencan dengan Rachael Speed ​​pada 2004. Dia memiliki seorang Putra dengan Speed. Putranya yang lahir pada tahun 2008 bernama Lois Thomas. Dia kemudian mulai berselingkuh dengan lawan mainnya Charlotte Riley yang dia temui di lokasi syuting Wuthering Heights. Pada 4 Juli 2014, pasangan ini menikah. Tom hidup bahagia bersama Riley. Mereka belum bercerai sampai saat ini dan tidak memiliki anak bersama juga. Mereka tampaknya melakukannya dengan cukup baik bersama dan tampaknya menjadi pasangan yang rukun. Hardy saat ini berusia 38 tahun dan berdiri tegak di ketinggian 5 kaki 9 inci.