Brown kết hôn bốn lần trong suốt cuộc đời và có sáu người con. Những người vợ của ông tên là Velma Warren (1953-1969), Deidre Jenkins (1970-1981), Adrienne Rodriguez (1984-1996) và Tomi Rae Hynie (2002-2004).