Även om det ännu inte har bevisats, empiriska bevis tyder på att modellen generalisering är relaterad till lokala egenskaper hos optima som kan beskrivas via hessian. Vi kopplar ihop modell generalisering med den lokala egenskapen hos en lösning under PAC-Bayes paradigm. I synnerhet bevisar vi att modellen generalisering förmåga är relaterad till den hessiska, den högre ordningen "smoothness" termer som kännetecknas av Lipschitz konstant av den hessiska, och skalorna av parametrarna. Vägledd av beviset föreslår vi ett mått för att poängsätta modellens generaliseringsförmåga, samt en algoritm som optimerar den perturbed modellen i enlighet med detta.
REF undersökte ett bättre val av den bakre variansen och visade att hessisk-baserad analys relaterar till skalan av parametrar.
Identifying Generalization Properties in Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}