ABSTRACT Långtidsminne (LSTM) har i stor utsträckning använts i olika tillämpningar, såsom behandling av naturligt språk, taligenkänning och datorseende över återkommande neurala nätverk (RNN) eller rekursiva neurala nätverk (RvNN)-ett trädstrukturerat RNN. Dessutom har LSTM-RvNN använts för att representera kompositionssemantik genom kopplingar mellan dolda vektorer över barnenheter. De linjära anslutningarna i de befintliga LSTM-nätverken kan dock inte fånga in komplexa semantiska representationer av texter i naturligt språk. Till exempel, komplexa strukturer i naturligt språk texter vanligtvis betecknar invecklade relationer mellan ord, såsom negativa känslor eller känslor styrkor. I detta dokument föreslås kvadratiska kopplingar till LSTM-modellen när det gäller RvNN (förkortat som qLSTM-RvNN) för att angripa problemet med att representera kompositionssemantik. Den föreslagna qLSTM-RvNN-modellen utvärderas i referensdatauppsättningar som innehåller semantisk kompositionalitet, dvs. känsloanalys av Stanford Sentiment Treebank och semantisk relaterat till meningar som inbegriper sammansättningsdata. Empiriska resultat visar att den överträffar de senaste RNN-, RvNN- och LSTM-nätverken i två semantiska kompositionsuppgifter genom att öka klassificeringsnoggrannheten och menings korrelationen samtidigt som den avsevärt minskar beräkningskomplexiteterna. INDEX TERMS Återkommande neurala nätverk, långtidsminnesnätverk, icke-linjära anslutningar, djupinlärning.
Wu och Chi REF föreslog en modell med kvadratiska anslutningar av LSTM som kan fånga komplexa semantiska representationer av naturliga språktexter och utvärderas på referensdatauppsättningen, Stanford Sentiment Treebank.
Long Short-Term Memory With Quadratic Connections in Recursive Neural Networks for Representing Compositional Semantics
{'venue': 'IEEE Access', 'journal': 'IEEE Access', 'mag_field_of_study': ['Computer Science']}