Hos kejseren var han højt anskreven, og til grev Nesselrode havde han til enhver tid fri adgang, og dette rent personlige forhold blev endnu intimere, da han 9. maj 1853 ægtede prinsesse Varvara Sergjevna Gagarine (f. 1825), en nær slægtning af kansleren.