Undervisning är avgörande för det mänskliga samhället: det är med undervisning som blivande elever utbildas och den mänskliga civilisationen kan ärvas och avanceras. En bra lärare förser inte bara sina elever med kvalificerat undervisningsmaterial (t.ex. läroböcker), utan ställer också upp lämpliga inlärningsmål (t.ex. kursarbeten och tentor) med hänsyn till en students olika situationer. När det gäller artificiell intelligens, behandling av maskininlärning modeller som studenter, de förlustfunktioner som är optimerade fungerar som perfekta motsvarigheter till lärande målet satt av läraren. I detta arbete utforskar vi möjligheten att efterlikna mänskliga undervisningsbeteenden genom att dynamiskt och automatiskt mata ut lämpliga förlustfunktioner för att träna maskininlärningsmodeller. Olika från typiska inlärningsmiljöer där förlustfunktionen hos en maskininlärningsmodell är fördefinierad och fast, i vårt ramverk, är förlustfunktionen hos en maskininlärningsmodell (vi kallar den student) definierad av en annan maskininlärningsmodell (vi kallar den lärare). Det yttersta målet med lärarmodellen är att odla studenten för att få bättre prestanda mätt på utvecklingsdatauppsättningen. I detta syfte, i likhet med mänsklig undervisning, ger läraren, en parametrisk modell, dynamiska resultat olika förlustfunktioner som kommer att användas och optimeras av sin studentmodell i olika utbildningsstadier. Vi utvecklar en effektiv inlärningsmetod för lärarmodellen som möjliggör gradientbaserad optimering, med undantag för ineffektiva lösningar som policyoptimering. Vi namnger vår metod som "lära sig att undervisa med dynamiska förlustfunktioner" (L2T-DLF för kort). Omfattande experiment på verkliga uppgifter inklusive bildklassificering och neural maskinöversättning visar att vår metod avsevärt förbättrar kvaliteten på olika studentmodeller.
L2T-DLF REF, vilket betyder "lära sig att undervisa med dynamiska förlustfunktioner", är en ny modell för att träna förlustfunktionen.
Learning to Teach with Dynamic Loss Functions
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}