Nuvarande toppmoderna NMT-system använder stora neurala nätverk som inte bara är långsamma att träna, men också ofta kräver många heuristik och optimering tricks, såsom specialiserade inlärningshastighet scheman och stora batchstorlekar. Detta är inte önskvärt eftersom det kräver omfattande hyperparameter tuning. I detta dokument föreslår vi ett ramverk för undervisning i läroplaner för NMT som minskar utbildningstiden, minskar behovet av specialiserade heuristiker eller stora batchstorlekar och resulterar i generellt bättre prestanda. Vårt ramverk består av ett principfast sätt att bestämma vilka träningsprover som visas för modellen vid olika tidpunkter under utbildningen, baserat på den uppskattade svårigheten med ett prov och modellens nuvarande kompetens. Filtrering av träningsprover på detta sätt hindrar modellen från att fastna i dåliga lokala optima, vilket gör att den konvergerar snabbare och når en bättre lösning än den gemensamma metoden med enhetliga exempel på provtagningsträning. Dessutom kan den föreslagna metoden enkelt tillämpas på befintliga NMT-modeller genom att helt enkelt ändra deras inmatningsdatarörledningar. Vi visar att vårt ramverk kan bidra till att förbättra utbildningstiden och prestandan hos både återkommande neurala nätverksmodeller och Transformers, uppnå upp till 70% minskning av utbildningstiden, samtidigt som vi får noggrannhetsförbättringar på upp till 2,2 BLEU.
REF använder en svårighets- och kompetensbaserad mätmetod för snabbare konvergens och bättre prestanda än exempel på enhetlig provtagningsutbildning.
Competence-based Curriculum Learning for Neural Machine Translation
{'venue': 'NAACL 2019', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}