Neurala nätverk med återkommande eller rekursiv arkitektur har visat lovande resultat på olika uppgifter för behandling av naturligt språk (NLP). De återkommande och rekursiva arkitekturerna har sin egen styrka och sina egna begränsningar. De återkommande nätverken bearbetar indatatexten sekventiellt och modellerar den villkorliga övergången mellan ordbokstäver. De rekursiva nätverken modellerar däremot uttryckligen sammansättningen och den rekursiva strukturen i naturligt språk. Nuvarande rekursiv arkitektur är baserad på syntaktiskt träd, vilket begränsar dess praktiska tillämplighet i olika NLP-program. I den här artikeln introducerar vi en klass av trädstrukturerade modeller, Neural Tree Indexers (NTI) som ger en medelväg mellan de sekventiella RNN:erna och de syntaktiska trädbaserade rekursiva modellerna. NTI konstruerar ett fullt n-ary träd genom att bearbeta indatatexten med sin nodfunktion nedifrån och upp. Uppmärksamhetsmekanism kan sedan tillämpas på både struktur och olika former av nodfunktion. Vi demonstrerade effektiviteten och flexibiliteten hos en binär-träd modell av NTI, som visar modellen uppnått den senaste prestandan på tre olika NLP uppgifter: naturliga språk inference, svar mening val, och mening klassificering. Kod för experimenten och NTI kommer att finnas tillgänglig på http://anonymized vid publicering.
Bland dem använde neural träd indexer REF LSTM eller uppmärksam nod sammansättning funktion för att konstruera fullt n-ary träd för inmatning text.
Neural Tree Indexers for Text Understanding
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics', 'Medicine']}