De dominerande neurala arkitekturerna i frågesvaren är baserade på recidiverande eller konvolutionella kodare konfigurerade med komplexa ordmatchande lager. Med tanke på att de senaste arkitektoniska innovationerna främst är nya ordinteraktionsskikt eller uppmärksamhetsbaserade matchningsmekanismer, verkar det vara ett väletablerat faktum att dessa komponenter är obligatoriska för god prestanda. Tyvärr är de minnes- och beräkningskostnader som uppstår till följd av dessa komplexa mekanismer inte önskvärda för praktiska tillämpningar. Som sådan tar detta dokument upp frågan om det är möjligt att uppnå konkurrenskraftig prestanda med enkla neurala arkitekturer. Vi föreslår en enkel men ny djupinlärningsarkitektur för snabb och effektiv frågesvarsrankning och hämtning. Mer specifikt, vår föreslagna modell, HyperQA, är en parameter effektiv neurala nätverk som överträffar andra parameterintensiva modeller såsom Attentive Pooling BiLSTMs och Multi-Perspective CNNs på flera QA-riktmärken. Nyheten bakom HyperQA är en parvis rankning mål som modellerar förhållandet mellan fråga och svar inbäddningar i Hyperbolic utrymme istället för Euclidean utrymme. Detta ger vår modell en självorganiserande förmåga och möjliggör automatisk upptäckt av latenta hierarkier samtidigt som vi lär oss inbäddade i frågor och svar. Vår modell kräver ingen funktionsteknik, ingen likhetsmatris matchning, inga komplicerade uppmärksamhetsmekanismer eller överparameteriserade lager och ändå överträffar och förblir konkurrenskraftiga för många modeller som har dessa funktioner på flera riktmärken.
Nyligen tillämpar REF den hyperboliska avståndsfunktionen för att modellera förhållandet mellan QA.
Hyperbolic Representation Learning for Fast and Efficient Neural Question Answering
{'venue': "WSDM '18", 'journal': None, 'mag_field_of_study': ['Computer Science']}