Huvuddelen av NLG:s utvärdering bygger på automatiska mått, såsom BLEU. I detta dokument motiverar vi behovet av nya, system- och dataoberoende automatiska utvärderingsmetoder: Vi undersöker ett brett spektrum av mätvärden, inklusive toppmoderna ordbaserade och nya grammatikbaserade metoder, och visar att de endast svagt återspeglar mänskliga bedömningar av systemutgångar som genereras av datadrivna, end-to-end NLG. Vi visar också att den metriska prestandan är data- och systemspecifik. Våra resultat tyder dock också på att automatiska mätvärden fungerar tillförlitligt på systemnivå och kan stödja systemutveckling genom att hitta fall där ett system fungerar dåligt.
REF undersöker ett stort antal ord- och grammatikbaserade mått och visar att de endast svagt återspeglar mänskliga bedömningar av systemutgångar som genereras av datadrivna, end-to-end naturliga språksystem.
Why We Need New Evaluation Metrics for NLG
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}