Brown menikah empat kali selama hidupnya dan memiliki enam anak. Nama istri-istrinya adalah Velma Warren (1953-1969), Deidre Jenkins (1970-1981), Adrienne Rodriguez (1984-1996) dan Tomi Rae Hynie (2002-2004).