Tillgången till stora mängder öppna, distribuerade och strukturerade semantiska data på webben har inget prejudikat i datavetenskapens historia. Under de senaste åren har viktiga framsteg gjorts när det gäller semantisk sökning och svar på frågor om RDF-data. I synnerhet naturliga språk gränssnitt till online semantiska data har fördelen att de kan utnyttja den uttryckskraft Semantic Web data modeller och frågespråk, samtidigt dölja sin komplexitet från användaren. Trots det ökande intresset för detta område finns det dock hittills inga utvärderingar som systematiskt utvärderar denna typ av system, i motsats till traditionella frågesvar och sökgränssnitt till dokumentutrymmen. För att komma till rätta med denna brist har vi satt upp en rad utvärderingsutmaningar för att besvara frågor om länkade data. Huvudsyftet med utmaningen var att få insikt i styrkor, kapacitet och nuvarande brister i frågesvarssystem som gränssnitt till frågelänkade datakällor, samt att jämföra hur dessa interaktionsparadigm kan hantera det faktum att mängden RDF-data som finns på webben är mycket stor och heterogen med avseende på de ordförråd och scheman som används. Här redogör vi för resultaten från den första och den andra av dessa utvärderingskampanjer. Vi diskuterar också hur den andra utvärderingen tog upp några av de frågor och begränsningar som uppstod från den första, samt de öppna frågor som ska tas upp i framtida tävlingar.
De mest populära riktmärkena inom det semantiska webbfältet kommer dock från QALD-utvärderingskampanjen REF.
Evaluating question answering over linked data
{'venue': 'J. Web Semant.', 'journal': 'J. Web Semant.', 'mag_field_of_study': ['Computer Science']}