Vi presenterar vår Generativa Enhanced Model (GEM) som vi använde för att skapa prover som tilldelades första priset på FEVER 2.0 Breakers Task. GEM är den utökade språkmodellen som utvecklats på GPT-2 arkitektur. Tillägg av ny indata i målordet till den redan befintliga kontextinmatningen aktiverade kontrollerad textgenerering. Utbildningsproceduren resulterade i att man skapade en modell som ärvde kunskapen om förtränade GPT-2 och därför var redo att generera naturliga engelska meningar inom uppgiftsområdet med lite extra kontroll. Som ett resultat av detta skapade GEM skadliga påståenden som blandade fakta från olika artiklar, så det blev svårt att klassificera deras sannfärdighet.
REF föreslår en ändring av GPT-2 språkmodellen för att uttryckligen generera skadliga påståenden.
TMLab: Generative Enhanced Model (GEM) for adversarial attacks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}