Recurrent neural networks (RNN) och convolutional neural networks (CNN) används i stor utsträckning i NLP uppgifter för att fånga de långsiktiga respektive lokala beroendena. Uppmärksamhetsmekanismerna har på senare tid väckt ett enormt intresse på grund av deras mycket parallella beräkning, betydligt mindre utbildningstid och flexibilitet i modellering av beroenden. Vi föreslår en ny uppmärksamhetsmekanism där uppmärksamheten mellan element från ingångssekvenser är riktad och multidimensionell, dvs. funktionsmässigt. Ett lätt neuralt nät, "Directional Self Attention Network (DiSAN)", föreslås sedan att lära mening inbäddning, baserat enbart på den föreslagna uppmärksamheten utan någon RNN/CNN struktur. DiSAN består endast av ett riktningsblock med tidsföljd kodad, följt av en flerdimensionell uppmärksamhet som komprimerar sekvensen till en vektorrepresentation. Trots denna enkla form överträffar DiSAN komplicerade RNN/CNN-modeller på både förutsägelsekvalitet och effektivitet. Det uppnår den bästa testnoggrannheten bland alla meningskodningsmetoder och förbättrar det senaste bästa resultatet med ca 1,0% på Stanford Natural Language Inference (SNLI) datauppsättningen, och visar den senaste testnoggrannheten på Stanford Sentiment Treebank (SST), Sents Involving Compositional Knowledge (SICK), TREC Question-type Classification och Multi-Genre Natural Language Inference (MultiNLI) datauppsättningar.
I REF föreslås flerdimensionell/vektoriell självbetjäning på toppen av självbetjäningsnätet i stället för BiLSTM.
DiSAN: Directional Self-Attention Network for RNN/CNN-free Language Understanding
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}