Som visat i senaste forskningen, djupa neurala nätverk kan perfekt passa slumpmässigt märkta data, men med mycket dålig noggrannhet på hållna data. Detta fenomen indikerar att förlustfunktioner såsom kors-entropi inte är en tillförlitlig indikator på generalisering. Detta leder till den avgörande frågan om hur generaliseringsgapet ska förutses från utbildningsdata och nätverksparametrar. I detta dokument föreslår vi en sådan åtgärd och genomför omfattande empiriska studier om hur väl den kan förutsäga generaliseringsklyftan. Vår åtgärd bygger på begreppet marginalfördelning, som är utbildningspoängens avstånd till beslutsgränsen. Vi anser att det är nödvändigt att använda marginalfördelningar på flera lager av ett djupt nätverk. På CIFAR-10 och CIFAR-100-datauppsättningarna korrelerar vår föreslagna åtgärd mycket starkt med generaliseringsgapet. Dessutom anser vi att följande andra faktorer är viktiga: att normalisera marginalvärden för skaloberoende, att använda karaktäriseringar av marginalfördelning snarare än bara marginalen (närmaste avstånd till beslutsgräns) och att arbeta i logrum istället för linjärt utrymme (effektivt använda en produkt av marginaler snarare än en summa). Vår åtgärd kan enkelt användas för att mata framåt djupa nätverk med någon arkitektur och kan peka mot nya utbildningsförluster funktioner som kan möjliggöra bättre generalisering. * Arbete gjort som en Google AI Invånare.
I REF studerades marginalens roll som prediktor för generaliseringsklyftan.
Predicting the Generalization Gap in Deep Networks with Margin Distributions
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}