Marshall sinh ra ở Baltimore, Maryland, vào ngày 2 tháng 7 năm 1908. Ông là chắt của một nô lệ sinh ra ở Cộng hòa Dân chủ Congo ngày nay; ông của anh ta cũng là một nô lệ. Tên ban đầu của ông là Thoroughgood, nhưng cuối cùng đã được rút ngắn thành Thurgood ở lớp hai vì ông không thích đánh vần nó.