Berry Gordy III (còn được gọi là Berry Gordy Jr.) sinh ngày 28 tháng 11 năm 1929 [1] ở Detroit, trong gia đình tầng lớp trung lưu của Berry Gordy II (còn được gọi là Berry Gordy Sr.), người đã chuyển đến Detroit từ Oconee ở quận Washington, Georgia, vào năm 1922. [2] Berry Gordy đầu tiên là con trai của một chủ đồn điền da trắng, James Gordy, ở Georgia và nô lệ nữ của ông. Anh trai cùng cha mẹ, James, là ông nội của Tổng thống Jimmy Carter. Berry Gordy II bị thu hút đến Detroit bởi các cơ hội việc làm cho người da đen được cung cấp bởi các doanh nghiệp ô tô đang bùng nổ.