Finjusterande pre-utbildade Neural Machine Translation (NMT) modeller är den dominerande metoden för att anpassa sig till nya språk och domäner. Finjustering kräver dock att man anpassar och upprätthåller en separat modell för varje måluppgift. Vi föreslår ett enkelt men effektivt tillvägagångssätt för anpassning i NMT. Vårt föreslagna tillvägagångssätt består av att injicera små uppgiftsspecifika adapterlager i en förskolad modell. Dessa lätta adaptrar, med bara en liten del av den ursprungliga modellstorleken, anpassar modellen till flera individuella uppgifter samtidigt. Vi utvärderar vår strategi för två uppgifter: (i) Domänanpassning och (ii) Massively Flerspråkig NMT. Experiment om domänanpassning visar att vårt föreslagna tillvägagångssätt är i nivå med fullständig finjustering på olika domäner, datasetstorlekar och modellkapacitet. På en massivt flerspråkig datauppsättning på 103 språk överbryggar vår anpassningsstrategi klyftan mellan enskilda tvåspråkiga modeller och en massivt flerspråkig modell för de flesta språkpar, vilket banar väg för universal maskinöversättning.
Senast föreslog Ref ett enkelt tillvägagångssätt för anpassning i NMT.
Simple, Scalable Adaptation for Neural Machine Translation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}