Hur man modellerar ett par meningar är en kritisk fråga i många NLP-uppgifter såsom svarsval (AS), parafrasidentifiering (PI) och textingrepp (TE). De flesta tidigare arbeten (i) handlar om en enskild uppgift genom finjustering av ett specifikt system; (ii) modellerar varje menings representation separat, sällan med tanke på inverkan av den andra meningen; eller (iii) bygger helt på manuellt utformade, uppgiftsspecifika språkliga funktioner. Detta arbete presenterar en allmän uppmärksamhetsbaserad Convolutional Neural Network (ABCNN) för att modellera ett par meningar. Vi ger tre bidrag. (i) ABCNN kan tillämpas på en mängd olika uppgifter som kräver modellering av meningspar. (ii) Vi föreslår tre uppmärksamhetsprogram som integrerar ömsesidigt inflytande mellan meningar i CNN, vilket innebär att varje menings representation tar hänsyn till dess motsvarighet. Dessa inbördes beroende mening par representationer är mer kraftfull än isolerade mening representationer. (iii) ABCNN:er uppnår toppmoderna resultat när det gäller AS-, PI- och TE-uppgifter. Vi släpper kod på: https://github.com/ yinwenpeng/Answer_Selection.
Till exempel tillämpar REF uppmärksamhet för att representera ömsesidigt inflytande mellan de indata mening par.
ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs
{'venue': 'Transactions of the Association for Computational Linguistics', 'journal': 'Transactions of the Association for Computational Linguistics', 'mag_field_of_study': ['Computer Science']}