Sinh ngày 13 tháng 12 năm 1903 tại Norfolk, Va., Ella Jo Baker lớn lên khi nghe những câu chuyện về cuộc nổi dậy của nô lệ từ bà của cô. Từng là nô lệ, bà của cô nói với Baker rằng cô đã bị trừng phạt vì không kết hôn với người đàn ông mà chủ nhân của cô đã chọn. Những câu chuyện này đã đặt nền tảng cho công bằng xã hội và chủ nghĩa tích cực sẽ tồn tại trong suốt cuộc đời của Baker. Baker bắt đầu sự nghiệp của mình trong hoạt động xã hội khi còn là sinh viên tại Đại học Shaw.