När det gäller semantisk teknik är benchmarking och systematisk utvärdering ännu inte lika etablerad som inom andra områden inom datavetenskapen, t.ex. informationsinsamling. Trots framgångsrika försök krävs mer ansträngning och erfarenhet för att uppnå en sådan mognadsnivå. I detta dokument rapporterar vi om resultat och lärdomar från initiativet för utvärdering av ontologianpassning (OAEI), ett benchmarkinginitiativ för matchning av ontologi. Målet med detta arbete är tvåfaldigt: å ena sidan dokumenterar vi det senaste i utvärderingen av ontologi matchningsmetoder och ger potentiella deltagare i initiativet en bättre förståelse för utformningen och de underliggande principerna för OAEI-kampanjerna. Å andra sidan rapporterar vi erfarenheter från just detta område av semantisk teknik till potentiella utvecklare av benchmarking för andra typer av system. I detta syfte beskriver vi den utvärderingsdesign som används i OAEI-kampanjerna när det gäller datauppsättningar, utvärderingskriterier och arbetsflöden, ger en global syn på resultaten av de kampanjer som genomfördes 2005–2010 och diskuterar kommande trender, både specifika för ontologimatchning och allmänt relevanta för utvärdering av semantisk teknik. Slutligen hävdar vi att det finns ett behov av ytterligare automatisering av benchmarking för att förkorta återkopplingscykeln för verktygsutvecklare.
Några av de system som har dykt upp under dessa år har deltagit i Ontology Alignment Evaluation Initiative (OAEI) kampanjer REF som är ett initiativ som syftar till att utvärdera ontology matchningsverktyg.
Ontology Alignment Evaluation Initiative: Six Years of Experience
{'venue': 'Journal on Data Semantics XV', 'journal': 'Journal on Data Semantics XV', 'mag_field_of_study': ['Computer Science']}