Även om stora framsteg har gjorts i hur man kodar en textsekvens i en sekvens av vektorer, har mindre uppmärksamhet ägnats åt hur man aggregerar dessa föregående vektorer (utgångar av RNN/CNN) till kodningsvektorn med fast storlek. Vanligtvis används en enkel max eller genomsnittlig pooling, som är ett nedifrån-och-upp och passivt sätt att aggregering och brist på vägledning genom uppgiftsinformation. I detta dokument föreslår vi en aggregeringsmekanism för att få en kodning i fast storlek med en dynamisk routingpolicy. Den dynamiska routing policyn är dynamiskt besluta att vad och hur mycket information som behöver överföras från varje ord till den slutliga kodning av texten sekvens. Efter arbetet med Capsule Network utformar vi två dynamiska routingpolicyer för att aggregera utdata från RNN/CNN-kodningsskiktet till en slutlig kodningsvektorn. Jämfört med de andra aggregeringsmetoderna kan dynamisk routing förfina meddelandena enligt den slutliga kodningsvektorns tillstånd. Experimentella resultat på fem textklassificeringsuppgifter visar att vår metod överträffar andra aggregerande modeller med en betydande marginal. Relaterad källkod släpps på vår github sida 1.
REF utformade två dynamiska routingpolicyer för att aggregera utdata från RNN/CNN-kodningsskiktet till en slutlig kodningsvektorn.
Information Aggregation via Dynamic Routing for Sequence Encoding
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}