Generaliseringen och inlärningshastigheten i ett flerklassigt neuralt nätverk kan ofta förbättras avsevärt genom att använda mjuka mål som är ett vägt genomsnitt av de hårda målen och den enhetliga fördelningen över etiketter. Slätning av etiketterna på detta sätt hindrar nätverket från att bli överkonfidentiellt och märkningsutjämning har använts i många toppmoderna modeller, inklusive bildklassificering, språköversättning och taligenkänning. Trots att märkningen används i stor utsträckning är den fortfarande dåligt förstådd. Här visar vi empiriskt att förutom att förbättra generaliseringen, förbättrar etikettutjämning modellkalibreringen vilket avsevärt kan förbättra strålsökningen. Men vi observerar också att om ett lärarnätverk utbildas med märkningsutjämning, är kunskapsdestillering till ett studentnätverk mycket mindre effektivt. För att förklara dessa observationer visualiserar vi hur etikett utjämning ändrar de representationer som lärts av det näst sista skiktet av nätverket. Vi visar att etikettutjämning uppmuntrar representationer av utbildningsexempel från samma klass till grupp i trånga kluster. Detta resulterar i förlust av information i loggen om likheter mellan fall av olika klasser, vilket är nödvändigt för destillation, men inte skadar generalisering eller kalibrering av modellens förutsägelser.
Nyligen visade REF empiriskt märkningsutjämning kan också bidra till att förbättra modellkalibreringen.
When Does Label Smoothing Help?
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}