Förskolade språk representation modeller uppnå anmärkningsvärda state of the art över ett brett spektrum av uppgifter i naturligt språk bearbetning. En av de senaste framstegen är BERT, en djup förtränad transformator som ger mycket bättre resultat än sina föregångare gör. Trots sin spirande popularitet har BERT ännu inte tillämpats på dokumentklassificeringen. Denna uppgift förtjänar uppmärksamhet, eftersom den innehåller några nyanser: för det första spelar modellering av syntaktisk struktur mindre roll för dokumentklassificering än för andra problem, såsom naturlig språkinferens och känsloklassificering. För det andra har dokument ofta flera etiketter över dussintals klasser, vilket är okaraktäristiskt för de uppgifter som BERT utforskar. I detta dokument beskriver vi finjusterande BERT för dokumentklassificering. Vi är de första att visa framgången för BERT på denna uppgift, att uppnå state of the art över fyra populära dataset.
REF är bland de första att tillämpa BERT på dokumentklassificering.
DocBERT: BERT for Document Classification
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}