De flesta tidigare undersökningar om automatisk talscoring har fokuserat på begränsat, förutsägbart tal. För automatisk poängsättning av obegränsat spontant tal har talfärdigheter utvärderats främst på aspekter av uttal, fluens, ordförråd och språkanvändning men inte på aspekter av innehåll och aktualitet. I detta dokument undersöker vi funktioner som representerar riktigheten i innehållet i ett talat svar. Innehållsfunktioner genereras med hjälp av tre likhetsåtgärder, inklusive en lexikal matchningsmetod (Vector Space Model) och två semantiska likhetsåtgärder (latent semantisk analys och punktvis ömsesidig information). Alla funktioner uppvisar måttligt höga korrelationer med mänskliga färdigheter poäng på mänskliga tal transkriptioner. Korrelationerna minskar något på grund av igenkänningsfel när de utvärderas på utmatningen av ett automatiskt taligenkänningssystem; men den ytterligare användningen av ordkonfidenspoäng kan uppnå korrelationer på en liknande nivå som för mänskliga transkriptioner.
Till exempel använde REF LSA- och Pairwise-metoder för ömsesidig information för att utvärdera innehållets korrekthet i obegränsade spontana svar.
Exploring Content Features for Automated Speech Scoring
{'venue': 'NAACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}