Wilma Glodean Rudolph lahir pada 23 Juni 1940, di bagian St. Bethlehem Clarksville, Tenn., 45 mil sebelah utara Nashville, dan dibesarkan di Clarksville. Dia adalah anak ke-20 dari 22 anak Ed Rudolph, seorang kuli kereta api, dari dua pernikahan. Ibunya, Blanche, adalah seorang domestik.