Tom đã từng hẹn hò với nhiều phụ nữ trong quá khứ. Anh ấy đã kết hôn với vợ cũ Sarah Ward từ năm 1999 đến năm 2004. Sau đó Tom bắt đầu hẹn hò với Rachael Speed ​​vào năm 2004. Anh ấy có một Con trai với Tốc độ. Con trai anh sinh năm 2008 tên là Lois Thomas. Sau đó, anh bắt đầu có quan hệ tình cảm với bạn diễn Charlotte Riley, người mà anh gặp trên phim trường Wuthering Heights. Vào ngày 4 tháng 7 năm 2014, cặp đôi kết hôn. Tom đang sống hạnh phúc với Riley. Họ vẫn chưa ly hôn cho đến nay và cũng không có con chung. Họ dường như đang làm khá tốt với nhau và dường như là một cặp đôi khá hợp nhau. Hardy hiện đã 38 tuổi và cao với chiều cao 5 feet 9 inch.