Vi föreslår sparsemax, en ny aktiveringsfunktion som liknar den traditionella softmax, men som kan producera glesa sannolikheter. Efter att ha härlett dess egenskaper visar vi hur dess Jacobian kan beräknas effektivt, vilket möjliggör dess användning i ett nätverk utbildat med backpropagation. Sedan föreslår vi en ny mjuk och konvex förlustfunktion som är sparsemax-analogen till den logistiska förlusten. Vi avslöjar ett oväntat samband mellan denna nya förlust och Hubers klassificeringsförlust. Vi får lovande empiriska resultat i flermärkta klassificeringsproblem och i uppmärksamhetsbaserade neurala nätverk för naturlig språkinferens. För det senare uppnår vi en liknande prestanda som det traditionella softmax, men med ett selektivt, mer kompakt, uppmärksamhetsfokus.
REF föreslog sparsemax och tillämpade det på flermärkt klassificering.
From Softmax to Sparsemax: A Sparse Model of Attention and Multi-Label Classification
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}