Förutbildning och finjustering, t.ex., BERT (Devlin et al., 2018), har uppnått stor framgång i språkförståelse genom att överföra kunskap från resursrik pre-utbildning uppgift till låg / noll-resurs nedströms uppgifter. Inspirerad av framgången med BERT föreslår vi MAsked Sequence till Sequence pre-training (MASS) för kodare-dekoder baserad språkgeneration. MASS antar ramen för kodare-avkodare för att rekonstruera ett meningsfragment med tanke på den återstående delen av meningen: dess kodare tar en mening med slumpmässigt maskerade fragment (flera på varandra följande polletter) som ingång, och dess avkodare försöker förutsäga detta maskerade fragment. På så sätt kan MASS gemensamt utbilda kodaren och dekodern för att utveckla förmågan att ta fram representations- och språkmodeller. Genom att ytterligare finjustera på en mängd olika noll-/lågresursspråksgenereringsuppgifter, inklusive neural maskinöversättning, textsammanfattning och konversationssvarsgenerering (3 uppgifter och totalt 8 datauppsättningar), uppnår MASS betydande förbättringar över baslinjer utan förutbildning eller med andra förutbildningsmetoder. Speciellt uppnår vi toppmodern noggrannhet (37,5 när det gäller BLEU-poäng) på den oövervakade engelska-franska översättningen, även slå den tidiga uppmärksamhetsbaserade övervakade modellen (Bahdanau et al., 2015b) 1.
MASS REF fokuserar på språkgenereringsuppgifter och antar den kodade ramen för att rekonstruera ett meningsfragment med tanke på den återstående delen av meningen.
MASS: Masked Sequence to Sequence Pre-training for Language Generation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}