I detta dokument föreslås en ny modell för att ta fram en tolkningsbar mening genom att införa självuppmärksamhet. Istället för att använda en vektor, använder vi en 2-D-matris för att representera inbäddningen, med varje rad av matrisen närvarande på en annan del av meningen. Vi föreslår också en självbetjäningsmekanism och en speciell legaliseringsterm för modellen. Som en bieffekt kommer inbäddningen med ett enkelt sätt att visualisera vilka specifika delar av meningen är kodade i inbäddningen. Vi utvärderar vår modell på 3 olika uppgifter: upphovsmansprofilering, känsloklassificering och textingrepp. Resultat visar att vår modell ger en betydande resultatvinst jämfört med andra meningar som inbäddar metoder i alla de 3 uppgifterna.
Lin m.fl. Ref har föreslagit en strukturerad självuppmärksamhets mening inbäddad som representerar meningarna med flera punkter av uppmärksamhet.
A Structured Self-attentive Sentence Embedding
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}