Vi presenterar ett nytt neuralt nätverk för behandling av sekvenser. ByteNet är ett endimensionellt konvolutionellt neuralt nätverk som består av två delar, en för att koda källsekvensen och den andra för att avkoda målsekvensen. De två nätverksdelarna är anslutna genom att stapla dekodern ovanpå kodaren och bevara tidsupplösningen av sekvenserna. För att ta itu med källans och målets olika längder inför vi en effektiv mekanism genom vilken dekodern dynamiskt utvecklas över encoderns representation. ByteNet använder dilatation i de konvolutionella skikten för att öka sitt mottagliga fält. Det resulterande nätverket har två kärnegenskaper: det löper i tiden som är linjär i längden av sekvenserna och det kringgår behovet av överdriven memorering. ByteNet dekoder uppnår toppmodern prestanda på tecken-nivå språkmodellering och överträffar tidigare bästa resultat som erhållits med återkommande nätverk. ByteNet uppnår också toppmodern prestanda på karaktär-till-karaktär maskin översättning på den engelsk-till-tyska WMT översättning uppgift, överträffar jämförbara neurala översättningsmodeller som är baserade på återkommande nätverk med uppmärksamhet pooling och köra i kvadratisk tid. Vi finner att den latenta anpassningsstrukturen i representationerna återspeglar den förväntade anpassningen mellan polletterna.
REF föreslog ByteNet med två nätverk för att koda källan och avkoda målet samtidigt.
Neural Machine Translation in Linear Time
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}