En allmänt använd inlärningsregel är att ungefär minimera den genomsnittliga förlusten över träningssetet. Andra inlärningsalgoritmer, såsom AdaBoost och hård-SVM, syftar till att minimera maximal förlust över träningssetet. Den genomsnittliga förlusten är mer populär, särskilt i djupt lärande, på grund av tre huvudsakliga skäl. För det första kan det enkelt minimeras med hjälp av online-algoritmer, som behandlar några exempel vid varje iteration. För det andra hävdas det ofta att det inte finns någon mening med att minimera förlusten på utbildningen uppsättning för mycket, eftersom det inte kommer att återspeglas i generalisering förlust. Sist är den maximala förlusten inte robust för outliers. I den här artikeln beskriver och analyserar vi en algoritm som kan konvertera vilken online-algoritm som helst till en minimerare av maximal förlust. Vi visar att i vissa situationer är bättre noggrannhet på träningssetet avgörande för att få bra resultat på osynliga exempel. Sist föreslår vi robusta versioner av det tillvägagångssätt som kan hantera avvikelser.
REF fokuserar på de svåra exemplen genom att minimera den maximala förlusten i stället för den genomsnittliga förlusten.
Minimizing the Maximal Loss: How and Why?
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}