Pourtant, il a passé une grande partie de son enfance en compagnie de ses cousins les plus proches en âge, John F. Kennedy Jr. et Edward M. Kennedy Jr.; au moment où il est entré à l' université Duke en janvier 1979, Smith était un jeune homme robuste de plus de 1,80 m de haut, un mélange de charme, de réserve et, selon un cousin, d' humour sarcastique.