Storskaliga språkmodeller visar lovande textgenereringsmöjligheter, men användarna kan inte enkelt kontrollera vissa aspekter av den genererade texten. Vi släpper CTRL, en 1,63 miljarder-parameter villkorlig transformator språkmodell, tränas för att villkora på reglerkoder som styr stil, innehåll, och uppgiftsspecifika beteende. Kontrollkoder härleddes från struktur som naturligt sammanfaller med rå text, bevara fördelarna med oövervakat lärande samtidigt ge mer explicit kontroll över textgenerering. Dessa koder gör det också möjligt för CTRL att förutsäga vilka delar av träningsdata som med största sannolikhet ges en sekvens. Detta ger en potentiell metod för att analysera stora mängder data via modellbaserad källattribuering. Vi har släppt flera fullstora, förtränade versioner av CTRL på
REF föreslår en villkorlig generationsmodell, tränad för att villkora kontrollkoder som styr stil, innehåll och uppgiftsspecifikt beteende.
CTRL: A Conditional Transformer Language Model for Controllable Generation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}