Fuller sinh ra với tên Leonard Leroy Lee vào ngày 29 tháng 7 năm 1933, ở Troy, New York, con duy nhất của Betty Simpson, một giảng viên khiêu vũ. Trước khi sinh ra, Betty kết hôn với Robert Simpson, Sr., một sĩ quan Học viện Hải quân. Năm 1939, ở tuổi 6, gia đình ông chuyển đến Key West, Florida, nơi mà, đã được biết đến với biệt danh "Buddy", ông lấy tên Robert Simpson Jr. Những điểm nổi bật đầu tiên của cuộc đời ông là diễn xuất và khiêu vũ. Cha mẹ ông sở hữu một trường khiêu vũ ở Florida. Gia đình ông cũng chuyển đến Chicago, Illinois, nơi họ sống trong 1 năm, trước khi chuyển về Florida.