Det största problemet med toppmoderniteten inom det semantiska sökområdet är bristen på omfattande utvärderingar. Det finns bara ett fåtal försök att utvärdera semantiska sökverktyg och jämföra resultaten med andra utvärderingar av sitt slag. I detta dokument presenterar vi ett systematiskt tillvägagångssätt för testning och benchmarking av semantiska sökverktyg som utvecklades inom SEALS-projektet. Till skillnad från andra semantiska webbutvärderingar testar våra metoder sökverktyg både automatiskt och interaktivt med en mänsklig användare i slingan. Detta gör det möjligt för oss att testa inte bara funktionella prestandamått, såsom precision och återkallande, men också användbarhetsfrågor, såsom användarvänlighet och begriplighet av frågespråket. I dokumentet beskrivs utvärderingsmål och antaganden, kriterier och mätvärden, vilken typ av experiment vi kommer att genomföra samt de datamängder som krävs för att genomföra utvärderingen inom ramen för SEALS-initiativet. Till vår kännedom är det första försöket att presentera en omfattande utvärderingsmetod för Semantic Web sökverktyg.
Utvärderingsspåret för SemSearch workshop 19 och utvärderingskampanjen för SEALS-projektet REF är nya initiativ för att fånga och analysera strukturerad frågedata.
Methodology and campaign design for the evaluation of semantic search tools
{'venue': "SEMSEARCH '10", 'journal': None, 'mag_field_of_study': ['Computer Science']}