Den enorma kostnaden för att skapa märkta utbildningsdata är ett vanligt problem för övervakade inlärningsuppgifter som klassning av känslor. Nyligen genomförda studier visade att förutbildning med omärkta data via en språkmodell kan förbättra prestandan hos klassificeringsmodeller. I detta dokument tar vi konceptet ett steg längre genom att använda en villkorlig språkmodell i stället för en språkmodell. Vi tar specifikt upp en känslaklassificeringsuppgift för en tweetanalystjänst som en fallstudie och föreslår en förutbildningsstrategi med omärkta dialogdata (tweet-reply pairs) via en kodare-dekodermodell. Experimentella resultat visar att vår strategi kan förbättra känslans klassificering och överträffa flera toppmoderna strategier, inklusive språkmodellens förutbildning.
I REF föreslogs en stämningsspecifik förutbildningsstrategi med hjälp av omärkta dialogdata (tweet-reply pairs).
Pretraining Sentiment Classifiers with Unlabeled Dialog Data
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}