Oöverträffad representation lär algoritmer som word2vec och ELMo förbättra noggrannheten hos många övervakade NLP-modeller, främst eftersom de kan dra nytta av stora mängder omärkt text. De övervakade modellerna lär sig dock endast av uppgiftsspecifika märkta data under den huvudsakliga utbildningsfasen. Vi föreslår därför Cross-View Training (CVT), en semi-övervakad inlärningsalgoritm som förbättrar representationerna av en Bi-LSTM mening kodare med hjälp av en blandning av märkta och omärkta data. På märkta exempel används standardhandlett lärande. På omärkta exempel lär CVT ut extra förutsägelsemoduler som ser begränsade vyer av inmatningen (t.ex. endast en del av en mening) för att matcha förutsägelserna i den fullständiga modellen med hela inmatningen. Eftersom hjälpmodulerna och den fullständiga modellen delar mellanliggande representationer, förbättrar detta i sin tur hela modellen. Dessutom visar vi att fortbildning är särskilt effektivt i kombination med lärande med flera uppgifter. Vi utvärderar CVT på fem sekvens taggning uppgifter, maskinöversättning, och beroende tolkning, uppnå state-of-the-art resultat.
CVT REF föreslår en halvt övervakad inlärningsalgoritm som använder de märkta och omärkta data för att förbättra representationen av Bi-LSTM kodaren.