I detta arbete introducerar vi den genomsnittliga top-k (AT k ) förlust som en ny ensemble förlust för övervakad lärande, vilket är genomsnittet över k största individuella förluster över en utbildning dataset. Vi visar att AT k förlust är en naturlig generalisering av de två allmänt använda ensemble förluster, nämligen den genomsnittliga förlusten och den maximala förlusten, men kan kombinera sina fördelar och minska sina nackdelar för att bättre anpassa sig till olika datadistributioner. Dessutom förblir det en konvex funktion över alla individuella förluster, vilket kan leda till konvexa optimeringsproblem som kan lösas effektivt med konventionell gradientbaserad metod. Vi ger en intuitiv tolkning av AT k förlust baserat på dess motsvarande effekt på den kontinuerliga individuella förlust funktioner, vilket tyder på att det kan minska straffet på korrekt klassificerade uppgifter. Vidare ger vi en inlärningsteorianalys av MAT k-inlärning om klassificeringskalibreringen av AT k-förlusten och felgränserna för AT k -SVM. Vi demonstrerar tillämpligheten av minsta genomsnittliga top-k lärande för binär klassificering och regression med hjälp av syntetiska och verkliga dataset.
REF generalisera detta arbete till toppk genomsnittliga förlust.
Learning with Average Top-k Loss
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}