Forskning som besvarar frågor har först nyligen börjat sprida sig från korta faktafrågor till mer komplexa. En viktig utmaning är utvärderingen: manuell utvärdering är en svår, tidskrävande process och inte tillämplig inom effektiv utveckling av system. Automatisk utvärdering kräver en corpus av frågor och svar, en definition av vad som är ett korrekt svar, och ett sätt att jämföra de korrekta svaren till automatiska svar som produceras av ett system. För detta ändamål presenterar vi en Wikipedia-baserad corpus av Whyfrågor och motsvarande svar och artiklar. Korpus byggdes med en ny metod: betalda deltagare kontaktades genom ett webbgränssnitt, ett förfarande som möjliggjorde dynamisk, snabb och billig utveckling av datainsamlingsmetoder. Varje fråga i corpus har flera motsvarande, delvis överlappande svar, vilket är en tillgång när man bedömer riktigheten av svaren. Dessutom innehåller corpus information om insamlingsprocessen för corpus. Vi anser att denna ytterligare information kan användas för att efterbehandla uppgifterna, och för att utveckla ett automatiskt godkännandesystem för ytterligare datainsamlingsprojekt som genomförs på ett liknande sätt.
I REF används MTurk-arbetare för att skapa en corpus av varförsfrågor och motsvarande svar på vilka QA-system som kan utvecklas.
Collecting a Why-Question Corpus for Development and Evaluation of an Automatic QA-System
{'venue': 'Annual Meeting Of The Association For Computational Linguistics', 'journal': None, 'mag_field_of_study': ['Computer Science']}