Med lovande framsteg av djupa neurala nätverk, lageraggregation har använts för att sammansmälta information över lager inom olika områden, såsom datorseende och maskinöversättning. De flesta av de tidigare metoderna kombinerar dock lager på ett statiskt sätt på så sätt att deras aggregeringsstrategi är oberoende av specifika dolda tillstånd. Inspirerad av den senaste tidens framsteg på kapselnät, föreslår vi i detta dokument att man använder strategier för routing-by-agreement för att aggregatera skikt dynamiskt. Speciellt lär sig algoritmen sannolikheten för en del (enskilda lager representationer) som tilldelas en hel (aggregerade representationer) på ett iterativt sätt och kombinerar delar därefter. Vi implementerar vår algoritm på toppen av den toppmoderna neurala maskinöversättning modell TRANSFORMER och utföra experiment på de allmänt använda WMT14 engelska och WMT17 engelska översättningsdataset. Experimentella resultat mellan språkpar visar att den föreslagna metoden konsekvent överträffar den starka baslinjemodellen och en representativ statisk aggregeringsmodell.
I REF föreslås först att kapselnät används i NMT med hjälp av routing-by-agreement mekanism för lageraggregation för att utnyttja avancerade representationer.
Dynamic Layer Aggregation for Neural Machine Translation with Routing-by-Agreement
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}