เฉลิม อยู่บำรุง
สมรสกับลำเนา อยู่บำรุง ผู้พิพากษาสมทบศาลเยาวชน มีบุตรด้วยกันทั้งสิ้น 3 คน เป็นชายล้วนคือ ร้อยตำรวจตรี อาจหาญ อยู่บำรุง[4], ร้อยตำรวจตรี วัน อยู่บำรุง และ [5] ลูกชายทั้งสามก็ถูกเรียกกันทั่วไปว่า "ลูกเหลิม" มีน้องชายที่เล่นการเมืองท้องถิ่น เป็น ส.ก.หลายสมัยคือ นวรัตน์ อยู่บำรุง ส.ก.เขตหนองแขม และน้องชายที่เป็นตำรวจ พ.ต.ท.จารึก อยู่บำรุง ซึ่งเสียชีวิตแล้วเมื่อวันที่ 9 ธันวาคม พ.ศ. 2557
เฉลิม อยู่บำรุง
ร้อยตำรวจเอก เฉลิม อยู่บำรุง กลับมาเป็นข่าวคราวอีกครั้ง เมื่อลูกชายทั้ง 3 คน คือ ร้อยตำรวจตรีอาจหาญ อยู่บำรุง ร้อยตำรวจตรีวัน อยู่บำรุง และร้อยตำรวจเอกดวง อยู่บำรุง ตกเป็นข่าวผ่านสื่อมวลชนเป็นระยะ ว่ามีพฤติกรรมก้าวร้าว ก่อเหตุวิวาททำร้ายร่างกายหลายครั้ง