Träning exakta djupa neurala nätverk (DNN) i närvaro av bullriga etiketter är en viktig och utmanande uppgift. Även om ett antal metoder har föreslagits för att lära sig med bullriga etiketter finns det fortfarande många öppna frågor. I den här artikeln visar vi att DNN-inlärning med Cross Entropy (CE) uppvisar överbestämmande för bullriga etiketter på vissa klasser ("lätta" klasser), men mer förvånande, det lider också av betydande under inlärning på vissa andra klasser ("hårda" klasser). Intuitivt kräver CE en extra term för att underlätta inlärning av hårda klasser, och ännu viktigare, denna term bör vara buller tolerant, för att undvika överpassning till bullriga etiketter. Inspirerad av den symmetriska KL-divergensen föreslår vi att Symmetric cross entropy Learning (SL), öka CE symmetriskt med en brustålig motsvarighet Reverse Cross Entropy (RCE). Vår föreslagna SL-strategi tar samtidigt upp både det underlärande och det alltför stora problemet med CE i närvaro av bullriga etiketter. Vi tillhandahåller en teoretisk analys av SL och även empiriskt visar, på en rad riktmärken och verkliga datauppsättningar, att SL överträffar toppmoderna metoder. Vi visar också att SL enkelt kan integreras i befintliga metoder för att ytterligare förbättra deras prestanda.
SL REF, som betyder "symmetriskt korsentropi lärande", föreslås också för att lösa buller-robust problemet.
Symmetric Cross Entropy for Robust Learning With Noisy Labels
{'venue': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'journal': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}