Recurrent neural networks (RNN), convolutional neural networks (CNN) och selfattention networks (SAN) används ofta för att producera sammanhangsmedvetna representationer. RNN kan fånga långdistansberoende men är svårt att parallellisera och inte tidseffektiv. CNN fokuserar på lokalt beroende men presterar inte bra på vissa uppgifter. SAN kan modellera båda dessa beroenden via mycket parallelliserbara beräkningar, men minneskravet växer snabbt i linje med sekvenslängd. I detta dokument föreslår vi en modell för RNN/CNN-fri sekvenskodning, kallad "bi-directive block self-attention network (Bi-BloSAN)". Det kräver lika lite minne som RNN men med alla fördelar med SAN. Bi-BloSAN delar hela sekvensen i block, och tillämpar en intra-block SAN för varje block för att modellera lokala sammanhang, sedan tillämpar en inter-block SAN för utgångar för alla block för att fånga långdistansberoende. Således behöver varje SAN bara bearbeta en kort sekvens, och endast en liten mängd minne krävs. Dessutom använder vi funktions-nivå uppmärksamhet för att hantera variationen av sammanhang runt samma ord, och använda framåt / bakåt masker för att koda temporal order information. På nio referensdatauppsättningar för olika NLP-uppgifter uppnår eller förbättrar Bi-BloSAN med den senaste noggrannheten och uppvisar bättre effektivitetsminne jämfört med befintliga RNN/CNN/SAN.
Till exempel Bi-Blosan REF
Bi-Directional Block Self-Attention for Fast and Memory-Efficient Sequence Modeling
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}