För år, rekursiva neurala nätverk (RvNNs) har visat sig vara lämplig för att representera text i fasta längd vektorer och uppnått bra prestanda på flera naturliga språk bearbetningsuppgifter. Den största nackdelen med RvNN är dock att de kräver strukturerad input, vilket gör det svårt att utarbeta data och införa modeller. I detta dokument föreslår vi Gumbel Tree-LSTM, en ny trädstrukturerad långtidsminnesarkitektur som effektivt lär sig att komponera uppgiftsspecifika trädstrukturer endast från vanlig textdata. Vår modell använder Straight-Through Gumbel-Softmax estimator för att bestämma modernoden bland kandidater dynamiskt och för att beräkna lutningar av det diskreta beslutet. Vi utvärderar den föreslagna modellen på naturlig språkinferens och känsloanalys, och visar att vår modell överträffar eller åtminstone är jämförbar med tidigare modeller. Vi ser också att vår modell konvergerar betydligt snabbare än andra modeller.
Gumbel Tree-LSTM REF är en representant för dem.
Learning to Compose Task-Specific Tree Structures
{'venue': 'AAAI 2018', 'journal': 'arXiv: Computation and Language', 'mag_field_of_study': ['Computer Science']}