Maskinöversättningssystem kräver semantisk kunskap och grammatisk förståelse. Neural maskinöversättning (NMT) system antar ofta denna information fångas av en uppmärksamhet mekanism och en dekoder som säkerställer fluens. Den senaste tidens arbete har visat att införandet av explicit syntax minskar bördan av att modellera båda typerna av kunskap. Men att kräva parser är dyrt och utforskar inte frågan om vilken syntax en modell behöver under översättningen. För att ta itu med båda dessa frågor introducerar vi en modell som samtidigt översätter samtidigt som den framkallar beroende träd. På detta sätt utnyttjar vi fördelarna med struktur samtidigt som vi undersöker vad syntax NMT måste inducera för att maximera prestanda. Vi visar att våra beroende träd är 1. språk par beroende och 2. förbättra översättningen kvalitet. Språket har syntaktisk struktur och översättningsmodeller måste förstå grammatiska beroenden för att lösa semantiken i en mening och bevara överenskommelse (t.ex. antal, kön etc.). Många nuvarande strategier för MT har kunnat undvika att uttryckligen tillhandahålla strukturell information genom att förlita sig på framsteg i sekvens till sekvens (seq2seq) modeller. De mest kända framstegen inkluderar uppmärksamhetsmekanismer (Bahdanau et al., 2015) och gating i Long Short-Term Memory (LSTM) celler (Hochreiter och Schmidhuber, 1997). I detta arbete syftar vi till att dra nytta av syntaktisk struktur, utan att ge det till modellen, och att lösgöra semantiska och syntaktiska compoPojken som sitter bredvid flickorna beställde ett kaffe Figur 1 : Vår modell syftar till att fånga både: syntaktisk (verb beställd → subj/obj pojke, kaffe) anpassning (nomen flickor → bestämma) uppmärksamhet. översättning, genom att införa en gatingmekanism som kontrollerar när syntax skall användas. Tänk på processen med att översätta meningen "Pojken som sitter bredvid flickorna beställde kaffe." (Figur 1 ) från engelska till tyska. På tyska, översätta beställd, kräver kunskap om dess subjekt pojke att korrekt förutsäga verbets nummer bestellte i stället för bestellten. Detta är ett fall där syntaktiskt avtal kräver långdistansinformation. Å andra sidan kan nästa översättas isolerat. Modellen bör avslöja dessa relationer och bestämma när och vilka aspekter av syntax som är nödvändiga. Medan dekodrar i princip kan använda tidigare förutsagda ord (t.ex. översättning av pojke) för att resonera om subjekt-verb överenskommelse, i praktiken LSTMs fortfarande kämpar med långdistansberoenden. Dessutom, Belinkov m.fl. (2017) visade att användningen av uppmärksamhet minskar dekoderns förmåga att lära sig målsidans syntax. Förutom att visa på förbättringar i översättningskvaliteten är vi också intresserade av att analysera de prognostiserade beroendeträden som upptäckts av våra modeller. Det senaste arbetet har börjat analysera uppgiftsspecifika latenta träd (Williams et al., 2018). Vi presenterar de första resultaten på att lära latenta träd med ett gemensamt syntaktiskt-semantiskt mål. Vi gör detta i tjänsten för maskinöversättning som i sig kräver tillgång till båda aspekterna av en mening. Dessutom visar våra resultat att språkpar med rik morfologi kräver och därför
REF föreslår en NMT-modell som använder en självupptagen kodare för att framkalla latenta beroende träd på källsidan och rapporterar att de inducerade träden är uppgiftsspecifika och inte överensstämmer med den konventionella definitionen av syntax.
Inducing Grammars with and for Neural Machine Translation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}