Wilma Glodean Rudolph sinh ngày 23 tháng 6 năm 1940, tại khu vực St. Bethlehem của Clarksville, Tenn., Cách Nashville 45 dặm về phía bắc, và lớn lên ở Clarksville. Cô là con thứ 20 trong số 22 người con của Ed Rudolph, một nhân viên khuân vác đường sắt, sau hai cuộc hôn nhân. Mẹ cô, Blanche, là một người nội trợ.