เฉลิม อยู่บำรุง
สมรสกับลำเนา อยู่บำรุง ผู้พิพากษาสมทบศาลเยาวชน มีบุตรด้วยกันทั้งสิ้น 3 คน เป็นชายล้วนคือ ร้อยตำรวจตรี อาจหาญ อยู่บำรุง[4], ร้อยตำรวจตรี วัน อยู่บำรุง และ [5] ลูกชายทั้งสามก็ถูกเรียกกันทั่วไปว่า "ลูกเหลิม" มีน้องชายที่เล่นการเมืองท้องถิ่น เป็น ส.ก.หลายสมัยคือ นวรัตน์ อยู่บำรุง ส.ก.เขตหนองแขม และน้องชายที่เป็นตำรวจ พ.ต.ท.จารึก อยู่บำรุง ซึ่งเสียชีวิตแล้วเมื่อวันที่ 9 ธันวาคม พ.ศ. 2557
ทิพาวดี เมฆสวรรค์
คุณหญิงทิพาวดี เมฆสวรรค์ เป็นบุตรีของพลโท เฉลิม และนางเครือน้อย สุทธิรักษ์ สมรสกับ ดร.ธวัช เมฆสวรรค์ อดีตอธิบดีกรมประชาสัมพันธ์โดยมีบุตรธิดา 2 คน คือ นางทวิวัลยา เมฆสวรรค์ และนายวิทวัส เมฆสวรรค์คุณหญิงทิพาวดี เมฆสวรรค์ เริ่มรับราชการในตำแหน่งวิทยากรโท สำนักงานคณะกรรมการข้าราชการพลเรือน (ก.พ.) ในปี พ.ศ. 2510 และได้เลื่อตำแหน่งเรื่อยมา กระทั่งในปี พ.ศ. 2526 ได้รับตำแหน่งผู้อำนวยการกองวิชาการ (เจ้าหน้าที่วิเคราะห์งานบุคคล ระดับ 8) พ.ศ. 2532 เป็นผู้เชี่ยวชาญพิเศษด้านระบบโครงสร้างการบริหารงานบุคคล (เจ้าหน้าที่วิเคราะห์งานบุคคล ระดับ 9) และเป็นรองเลขาธิการ ก.พ. ในปี พ.ศ. 2535 เลขาธิการ ก.พ. ในปี พ.ศ. 2540 ต่อมาได้รับแต่งตั้งเป็นปลัดกระทรวงถึง 2 กระทรวง คือ กระทรวงเทคโนโลยีสารสนเทศและการสื่อสาร ในปี พ.ศ. 2545 และกระทรวงวัฒนธรรม ในปี พ.ศ. 2547