Vårt arbete tar upp problemet med att förutsäga om en uppsats är off-topic till en given snabb eller fråga utan några tidigare sedda essäer som träningsdata. Tidigare arbeten har använt likheter mellan essäord och snabba ord för att uppskatta graden av ontopiskt innehåll. I vår corpus av åsikt essäer, uppmaningar är mycket kort, och med hjälp av likheter med sådana uppmaningar för att upptäcka off-topic essäer ger felfrekvenser på cirka 10%. Vi föreslår två metoder för att möjliggöra en bättre jämförelse av snabb- och essätext. Vi utökar automatiskt korta samtal före jämförelse, med ord som sannolikt kommer att visas i en uppsats till denna uppmaning. Vi tillämpar även stavningskorrigering på essätexterna. Båda metoderna minskar felfrekvensen under detektion av off-topic essä och visar sig komplettera varandra, vilket leder till ännu bättre prestanda vid användning i unison.
För att utvärdera innehållet i studenternas uppsatser presenterade REF en metod för att upptäcka om en uppsats är off-topic.
Off-topic essay detection using short prompt texts
{'venue': 'Proceedings of the NAACL HLT 2010 Fifth Workshop on Innovative Use of NLP for Building Educational Applications', 'journal': None, 'mag_field_of_study': ['Computer Science']}