Vi har nu en rik och växande uppsättning modelleringsverktyg och algoritmer för att framkalla språklig struktur från text som är mindre än helt kommenterad. I detta dokument diskuterar vi några av svagheterna i vår nuvarande metod. Vi presenterar en ny abstrakt ram för utvärdering av modeller för behandling av naturligt språk (NLP) i allmänhet och oövervakade NLP-modeller i synnerhet. Den centrala tanken är att tydliggöra vissa kontradiktoriska roller bland forskare, så att de olika rollerna i en utvärdering tydligare definieras och utövande konstnärer av alla roller erbjuds sätt att göra mätbara bidrag till det större målet. Att anta detta tillvägagångssätt kan bidra till att karakterisera modellframgångar och misslyckanden genom att uppmuntra tidigare överväganden om felanalys. Ramen kan sättas in på olika sätt genom att man simulerar några välbekanta inneboende och extrinsiska utvärderingar samt några nya utvärderingar.
Tidigare arbete Ref diskuterar vikten av utvärderingsramar som gör det möjligt att karakterisera modellens framgång och misslyckanden.
Adversarial Evaluation for Models of Natural Language
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}