Stora transformatorbaserade språkmodeller (LM) som utbildats på enorma textkorpora har visat oöverträffade genereringsmöjligheter. Kontroll av attribut för det genererade språket (t.ex. Att byta ämne eller känsla) är svårt utan att ändra modellarkitekturen eller finjusteringen av attributspecifika data och medför betydande kostnader för omskolning. Vi föreslår ett enkelt alternativ: Plug and Play Language Model (PPLM) för reglerbar språkgeneration, som kombinerar en förträngd LM med en eller flera enkla attributklassificeringar som styr textgenerering utan vidare utbildning av LM. I det kanoniska scenario som vi presenterar är attributmodellerna enkla klassificeringar som består av en användarspecifik påse med ord eller ett enda lärt lager med 100 000 gånger färre parametrar än LM. Provtagning innebär ett framåt- och bakåtpass där lutningar från attributmodellen driver LM:s dolda aktiveringar och därmed styr generationen. Modellprover visar kontroll över en rad ämnen och känslor stilar, och omfattande automatiserade och mänskliga kommenterade utvärderingar visar attribut anpassning och fluens. PPLM är flexibla eftersom alla kombinationer av olika attributmodeller kan användas för att styra textgenerering, vilket kommer att möjliggöra olika och kreativa tillämpningar utöver de exempel som ges i detta dokument.
För det andra föreslog REF en Plug and Play språkmodell som ett enkelt tillvägagångssätt för att kontrollera textgenerering.
Plug and Play Language Models: A Simple Approach to Controlled Text Generation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}