เฉลิม อยู่บำรุง
สมรสกับลำเนา อยู่บำรุง ผู้พิพากษาสมทบศาลเยาวชน มีบุตรด้วยกันทั้งสิ้น 3 คน เป็นชายล้วนคือ ร้อยตำรวจตรี อาจหาญ อยู่บำรุง[4], ร้อยตำรวจตรี วัน อยู่บำรุง และ [5] ลูกชายทั้งสามก็ถูกเรียกกันทั่วไปว่า "ลูกเหลิม" มีน้องชายที่เล่นการเมืองท้องถิ่น เป็น ส.ก.หลายสมัยคือ นวรัตน์ อยู่บำรุง ส.ก.เขตหนองแขม และน้องชายที่เป็นตำรวจ พ.ต.ท.จารึก อยู่บำรุง ซึ่งเสียชีวิตแล้วเมื่อวันที่ 9 ธันวาคม พ.ศ. 2557
พิทักษ์ คันธจันทร์
ในปี พ.ศ. 2515 ได้ไปชกมวยในแบบคิกบ็อกซิ่ง ที่ประเทศญี่ปุ่น เมื่อกลับมายังประเทศไทย ได้สมรสกับ กรรณิการ์ แซ่เตีย (มีบุตรชายด้วยกันทั้งหมด 2 คน) เมื่อเลิกชก ได้ใช้วิชาการถ่ายภาพที่เรียนมาเป็นช่างภาพอิสระถ่ายภาพให้แก่ผู้มาท่องเที่ยวยังสถานที่ต่าง ๆ เช่น สวนสามพราน, สวนสัตว์ดุสิต และได้ไปเป็นช่างภาพประจำให้แก่หนังสือพิมพ์หลายฉบับ เช่น สยามรัฐ, ไทยเดลี, บางกอกโพสต์ และสยามกีฬา เป็นต้น