Jay Thomas lahir di Kermit, Texas, dari pasangan Katherine (Guzzino), seorang penari tap-dancing dari Louisiana Selatan keturunan Italia, dan T. Harry Terrell, Sr., seorang pengusaha minyak. Dibesarkan di New Orleans, dia selalu aktif dalam olahraga dan pertunjukan. Dia memenangkan penghargaan pertamanya sebagai pembawa acara pertunjukan bakat Jesuit High School.