Ainda assim, ele passou a maior parte da sua infância na companhia dos primos mais próximos em idade, John F. Kennedy Jr. e Edward M. Kennedy Jr.; quando entrou na Universidade Duke em Janeiro de 1979, Smith era um jovem robusto de mais de 1,80m de altura, uma mistura de charme, reserva e, de acordo com um primo, humor sarcástico.