Sein Vater, François d' Affry, stieg in den Kriegen in Italien bis zum zu dem Generalleutnant auf und trug seit 1715 den Orden des heiligen Ludwig, den höchsten militärischen Verdienstorden Frankreichs.