Hans far var murerarbejdsmand, men selvom familien var hårdt presset økonomisk og måtte flytte 12 gange inden for Benny Andersens første fire leveår, var det meget vigtigt for dem, at Benny Andersen og hans bror fik mulighed for at udfolde sig i den retning, de gerne ville.