เฉลิม อยู่บำรุง
สมรสกับลำเนา อยู่บำรุง ผู้พิพากษาสมทบศาลเยาวชน มีบุตรด้วยกันทั้งสิ้น 3 คน เป็นชายล้วนคือ ร้อยตำรวจตรี อาจหาญ อยู่บำรุง[4], ร้อยตำรวจตรี วัน อยู่บำรุง และ [5] ลูกชายทั้งสามก็ถูกเรียกกันทั่วไปว่า "ลูกเหลิม" มีน้องชายที่เล่นการเมืองท้องถิ่น เป็น ส.ก.หลายสมัยคือ นวรัตน์ อยู่บำรุง ส.ก.เขตหนองแขม และน้องชายที่เป็นตำรวจ พ.ต.ท.จารึก อยู่บำรุง ซึ่งเสียชีวิตแล้วเมื่อวันที่ 9 ธันวาคม พ.ศ. 2557
จิ๊ด เศรษฐบุตร
สำหรับชีวิตครอบครัวนั้น จิ๊ดสมรสกับพิพิธ เศรษฐบุตร (ชื่อสกุลเดิม สุนทรวร) ซึ่งเป็นบุตรีของพระยาจ่าแสนยบดีศรีบริบาล (ชิต สุนทรวร) กับคุณหญิงเลื่อน จ่าแสนยบดี จิ๊ดและภริยามีบุตรด้วยกันสามคนตามลำดับดังนี้ในบั้นปลายชีวิตตั้งแต่ราวปี 2526 จิ๊ดประสบภาวะสมองเสื่อม ความทรงจำจึงเสื่อมถอย สติฟั่นเฟือน และมีความบกพร่องในทางสื่อสารและรับรู้ หทัย ชิตานนท์ แพทย์ประจำตัว ตรวจแล้วพบว่า ไม่สามารถรักษาให้หายขาดได้ ศาลแพ่งจึงสั่งให้เป็นคนไร้ความสามารถตามคำร้องของพิพิธ ภริยา และสั่งให้อยู่ความอนุบาลของนรนิติ เศรษฐบุตร ตั้งแต่ปลายเดือนมีนาคม 2534