Vi föreslår en ny metod för aktivt lärande (AL) för textklassificering med konvolutionella neurala nätverk (CNN). I AL väljer man de instanser som ska märkas manuellt med målet att maximera modellens prestanda med minimal ansträngning. Neural modeller kapitalisera på ord inbäddningar som representationer (funktioner), anpassa dessa till den uppgift som är nära förestående. Vi hävdar att AL strategier för flerskiktade neurala modeller bör fokusera på att välja fall som mest påverkar inbäddning utrymme (dvs. inducera diskriminerande ord representationer). Detta står i kontrast till traditionella AL-metoder (t.ex. entropibaserad osäkerhetsprovtagning), som anger mål på högre nivå. Vi föreslår ett enkelt tillvägagångssätt för meningsklassificering som väljer exempel som innehåller ord vars inbäddningar sannolikt kommer att uppdateras med den största magnituden, vilket snabbt lär sig diskriminativa, uppgiftsspecifika inbäddningar. Vi utvidgar detta tillvägagångssätt till att omfatta dokumentklassificering genom att gemensamt överväga: 1) de förväntade ändringarna av de ingående ordrepresentationerna; och 2) modellens nuvarande övergripande osäkerhet när det gäller fallet. Den relativa betoningen på dessa kriterier styrs av en stokastisk process som gynnar val av fall som sannolikt kommer att förbättra representationer i början av lärandet, och sedan skiftar mot allmän osäkerhet provtagning som AL fortskrider. Empiriska resultat visar att vår metod överträffar utgångsvärdet AL för både menings- och dokumentklassificeringsuppgifter. Vi visar också att metoden, som väntat, snabbt lär sig diskriminerande ord inbäddningar. Såvitt vi vet är detta det första arbetet med AL-adressering av neurala modeller för textklassificering.
REF undersöker AL för känsloklassificering, föreslår en ny provtagning heuristic, väljer exempel för vilka den förväntade uppdateringen till ordet inbäddningar är störst.
Active Discriminative Text Representation Learning
{'venue': 'AAAI', 'journal': None, 'mag_field_of_study': ['Computer Science']}