Kan vi använda djup inlärning för att förutsäga när djup inlärning fungerar? Våra resultat tyder på jakande. Vi skapade ett dataset genom att träna 13 500 neurala nätverk med olika arkitekturer, på olika varianter av spiraldataset och med olika optimeringsparametrar. Vi använde denna datauppsättning för att träna uppgiftsoberoende och arkitekturoberoende generalisering gap prediktorer för dessa neurala nätverk. Vi förlänger Jiang et al. (2018) att även använda DNN och RNN och visa att de överträffar den linjära modellen, erhålla R 2 = 0,965. Vi visar också resultat för arkitektur-oberoende, uppgift-oberoende, och out-of-distribution generalization gap förutsägelse uppgifter. Både DNN och RNN är konsekvent och betydligt bättre än linjära modeller, med RNN som erhåller R 2 = 0,584.
REF utökar detta arbete genom att utbilda ett stort antal små helanslutna nätverk på olika varianter av en genererad spiraldatauppsättning.
Towards Task and Architecture-Independent Generalization Gap Predictors
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}