Er war das zweite von drei Kindern des fürstlich freisingschen Geheimrats und Oberjägermeisters Max Joseph Freiherr von und zu Fraunberg und dessen Gemahlin Maria Josepha, geb. Freiin von Rechberg und Rothenlöwen.