Джон Х. Джонсън е роден в чернокожо семейство в Арканзас Сити. Баща му е бил обезкуражен, когато Джон е бил на шест години. "Той е бил в гимназията, но родният му град не е предлагал на чернокожите да учат. За щастие той е имал силна, грижовна майка. Джон си спомня, че майка му му е казвала много пъти: "Синко, ти можеш да бъдеш всичко, което наистина искаш да бъдеш, ако просто вярваш."
Бащата на Джон умира в родния си град, когато Джон е много млад. Животът им е бил твърде труден, за да останат в родния си град, докато животът в Чикаго би бил по-добър за тях негрите. В родния им град не е имало училища. Джон се нуждаеше от повече образование и можеше да отиде в гимназията там.