Eftersom stora, människoannoterade datauppsättningar lider av märkningsfel, är det viktigt att kunna träna djupa neurala nätverk i närvaro av etikettbuller. Även om utbildning bild klassificering modeller med etikett buller har fått mycket uppmärksamhet, utbildning text klassificering modeller har inte. I detta dokument föreslår vi en strategi för att utbilda djupa nätverk som är robusta för att märka buller. Detta tillvägagångssätt introducerar en icke-linjär processskikt (buller modell) som modellerar statistiken över etiketten buller till en konvolutional neurala nätverk (CNN) arkitektur. Bullermodellen och CNN-vikterna lär sig gemensamt av bullriga träningsdata, vilket hindrar modellen från att överansträngas till felaktiga etiketter. Genom omfattande experiment på flera textklassificeringsdata visar vi att detta tillvägagångssätt gör det möjligt för CNN att lära sig bättre meningsrepresentationer och är robust även för extrema etikettbuller. Vi anser att en korrekt initiering och legalisering av denna bullermodell är av avgörande betydelse. I motsats till resultat som fokuserar på stora batchstorlekar för att minska märkningsbuller för bildklassificering, anser vi att en ändring av batchstorleken inte har någon större effekt på klassificeringens prestanda.
REF introducerar ett icke-linjärt bullermodelleringslager i en textklassningsarkitektur för att koda fördelningen av märkningsbuller.
An Effective Label Noise Model for DNN Text Classification
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}