Neurala nätverksbaserade generativa språkmodeller som ELMo och BERT kan fungera effektivt som generella meningskodare i textklassificeringen utan ytterligare finjustering. Är det möjligt att anpassa dem på ett liknande sätt för användning som allmänna dekodrar? För att detta ska vara möjligt måste det vara så att det för varje målstraff av intresse finns en viss kontinuerlig representation som kan överföras till språkmodellen för att få den att reproducera denna mening. Vi bortser från det svåra problemet med att utforma en kodare som kan producera sådana representationer och frågar i stället direkt om sådana representationer över huvud taget existerar. För att göra detta inför vi ett par effektiva kompletterande metoder för att mata representationer i pretränade villkorslösa språkmodeller och en motsvarande uppsättning metoder för att kartlägga meningar in i och ut ur detta representationsutrymme, det återparametriserade meningsutrymmet. Vi undersöker sedan de förhållanden under vilka en språkmodell kan göras för att generera en mening genom identifiering av en punkt i ett sådant utrymme och finner att det är möjligt att återvinna godtyckliga meningar nästan perfekt med språkmodeller och representationer av måttlig storlek.
I ett annat intressant men tangerande arbete visade REF nyligen att en förskolad språkmodell kan styras för att återfå godtyckliga meningar.
Can Unconditional Language Models Recover Arbitrary Sentences?
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}