De flesta moderna neurala maskinöversättningssystem (NMT) bygger på presegmenterade ingångar. Segmentering granularitet avgörande bestämmer in- och utgående sekvens längder, därav modellering djup, och källa och mål ordförråd, som i sin tur bestämma modellstorlek, beräkningskostnader för softmax normalisering, och hantering av out-ofvokabulary ord. Den nuvarande praxisen är dock att använda statiska, heuristiska-baserade segmenteringar som är fasta före NMT-träning. Detta väcker frågan om den valda segmenteringen är optimal för översättningsuppgiften. För att övervinna suboptimala segmenteringsval presenterar vi en algoritm för dynamisk segmentering baserad på (Graves, 2016), som är utbildningsbara end-to-end och drivs av NMT-målet. I en utvärdering av fyra översättningsuppgifter fann vi att med tanke på friheten att navigera mellan olika segmenteringsnivåer föredrar modellen att fungera på (nästan) teckennivå, vilket ger stöd för rent karaktärsnivå NMT-modeller från en ny vinkel.
I en annan riktning föreslår REF att man dynamiskt lär sig segmentering som bygger på NMT-målet.
Learning to Segment Inputs for NMT Favors Character-Level Processing
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}