ABSTRACT Tidigare arbete kombinerar ord- och tecken-nivå representationer med konkatering eller skalär viktning, som är suboptimal för hög nivå uppgifter som läsförståelse. Vi presenterar en finkornig gating mekanism för att dynamiskt kombinera ord-nivå och tecken-nivå representationer baserat på egenskaperna hos orden. Vi utvidgar också idén om finkornig gating till att modellera samspelet mellan frågor och stycken för läsförståelse. Experiment visar att vårt tillvägagångssätt kan förbättra prestandan i läsförståelseuppgifter och uppnå nya toppmoderna resultat på Barnbokstestet och Vem gjorde Vilka datauppsättningar. För att visa hur allmän vår gating mekanism är visar vi också förbättrade resultat på en social media tagg förutsägelse uppgift.
REF använde en finkornig gating mekanism för att kombinera ordnivå och teckennivå representation för läsförståelse.
Words or Characters? Fine-grained Gating for Reading Comprehension
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}