Abstract-A förlust funktion mäter skillnaden mellan de verkliga värdena (observationer) och deras uppskattade passar, för ett givet exempel på data. En förlustfunktion sägs vara korrekt (observerad, Fisher konsekvent) om passformerna definieras över en enhet simplex, och minimeraren av den förväntade förlusten är den verkliga underliggande sannolikheten för data. Typiska exempel är nollone-förlusten, quadratic-förlusten och Bernoulli log-likelihood-förlusten (log-loss). I detta arbete visar vi att för binära klassificeringsproblem, divergensen i samband med smidiga, korrekta och konvexa förlustfunktioner begränsas ovanifrån av KullbackLeibler (KL) divergens, upp till en multiplikativ normalisering konstant. Det innebär att genom att minimera log-förlusten (tillsammans med KL divergensen), minimerar vi en övre gräns för val av förlustfunktioner från denna uppsättning. Denna egenskap motiverar den breda användningen av log-förlust i regression, beslut träd, djupa neurala nätverk och många andra tillämpningar. Dessutom visar vi att KL-divergensen överskrider varje separat Bregman divergens som är konvex i sitt andra argument (upp till en multiplikativ normaliseringskonstant). Detta resultat introducerar en ny uppsättning divergensskillnader, liknande den välkända Pinsker ojämlikhet.
Något relaterat, i REF Painsky och Wornell visar att för binära klassificeringsproblem logaritmisk förlust dominerar "universalt" någon annan bekväm (dvs. slät, korrekt och konvex) förlust funktion, i den meningen att genom att minimera logaritmisk förlust man minimerar den ånger som är associerad med alla sådana åtgärder.
On the Universality of the Logistic Loss Function
{'venue': '2018 IEEE International Symposium on Information Theory (ISIT)', 'journal': '2018 IEEE International Symposium on Information Theory (ISIT)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}