Rekursiva neurala modeller, som använder syntaktiska parse träd för att rekursivt generera representationer bottom-up från parse barn, är en populär ny arkitektur, lovande att fånga strukturella egenskaper som långdistans semantiska beroenden. Men att förstå exakt vilka uppgifter denna parsbaserade metod är lämplig för är fortfarande en öppen fråga. I detta papper jämför vi rekursiva neurala modeller mot sekventiella återkommande neurala modeller, som är strukturerade enbart på ordsekvenser. Vi undersöker 4 uppgifter: (1) mening-nivå känsla klassificering; (2) matcha frågor till svar-fraser; (3) diskurs tolkning; (4) dator semantiska relationer (t.ex., komponent-hela mellan substantiv). Vi genomför tillämpa grundläggande, allmänna versioner av rekursiva och återkommande modeller och tillämpas på varje uppgift. Vår analys tyder på att syntaktiska trädbaserade rekursiva modeller är mycket användbara för uppgifter som kräver att representera långa avstånd relationer mellan ord (t.ex. semantiska relationer mellan nominella), men kanske inte är till hjälp i andra situationer, där sekvensbaserade återkommande modeller kan producera lika prestanda. Våra resultat ger insikter om utformningen av neurala arkitekturer för representationsinlärning.
Löjtnant m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m för m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m. Ref-riktmärke rekursiva neurala modeller mot sekventiella återkommande neurala modeller på för naturspråk bearbetning uppgifter inklusive känsloklassificering på meningsnivå och frasnivå.
When Are Tree Structures Necessary for Deep Learning of Representations?
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}