Hans fader, Jørgen Balling, var en brav og anset købmand; moderen Bolette Cathrine født Amunds. 10 år gammel stod han forældreløs, og dels i en købmands hus, dels hos en streng formynder henlede årene i hans fødeby indtil konfirmationen.