Джон Х. Джонсън е роден в чернокожо семейство в Арканзас през 1918 г. Баща му умира в инцидент, когато Джон е на шест години. Докато е бил в гимназията, родният му град не е предлагал на чернокожите по-малко силна и грижовна майка. Джон си спомнил, че майка му му му е казвала много пъти: "Синко, можеш да бъдеш всичко, което искаш, ако просто вярваш." Казвала му е да не зависи от другите.
Баща му умира, когато Джон е много млад. Животът им е бил твърде тежък, за да останат в родния си град. Джон се нуждаеше от повече образование. В родния им град не е имало училища за негри.