Lahir pada 13 Desember 1903 di Norfolk, Va., Ella Jo Baker tumbuh dengan mendengarkan kisah-kisah pemberontakan budak dari neneknya. Seorang mantan budak, neneknya memberi tahu Baker bahwa dia telah dihukum karena tidak menikahi pria yang dipilih pemiliknya. Kisah-kisah ini meletakkan dasar bagi keadilan sosial dan aktivisme yang akan tetap ada sepanjang hidup Baker. Baker memulai karirnya di aktivisme sosial saat menjadi mahasiswa di Universitas Shaw.