Merparten av det semantiska innehåll som finns tillgängligt har genererats automatiskt genom att använda annoteringstjänster för befintligt innehåll. Automatisk anteckning är inte av tillräcklig kvalitet för att möjliggöra fokuserad sökning och hämtning: antingen för många eller för få termer är semantiskt kommenterade. Användardefinierad semantisk berikning möjliggör en mer målinriktad strategi. Vi utvecklade ett verktyg för semantisk notering av digitala dokument och genomförde en slutanvändarstudie för att utvärdera dess acceptans av och användbarhet för icke-expertanvändare. I detta dokument presenteras resultaten av denna användarstudie och diskuteras lärdomarna från både den semantiska anrikningsprocessen och vår metod att exponera icke-experter för semantisk berikning. Resten av denna uppsats är strukturerad enligt följande: I Avsnitt 2 utforskar vi relaterade arbete med att utvärdera användbarheten av semantiska webbverktyg. Avsnitt 3 introducerar newinep och One Click Annotator. Metodiken och upplägget av vår studie förklaras i avsnitt 4. I avsnitt 5 redovisas resultaten av studien, och i avsnitt 6 diskuteras konsekvenserna av studieresultaten. Avsnitt 7 sammanfattar bidragen från vår studie och drar slutsatser för semantisk webbverktygsdesign. Här diskuterar vi forskning relaterad till vävstolen OCA och dess utvärdering. Redogörelseverktyg. Annotering kan göras antingen automatiskt eller manuellt (eller i kombination). Automatiska annoteringsverktyg utvärderas vanligtvis endast för precision och återkallande av de resulterande annoteringar [2, 3, 4]. De flesta manuella anteckningsverktyg har aldrig utvärderats för sin användbarhet; många är inte längre under aktiv utveckling [5, 6, 7]. Vi klassificerar nuvarande manuella system i kommenteringsverktyg [8, 9,10], webbannoteringsverktyg [11, 12], wiki-baserade system [13, 14, 15], och innehållssammansättningssystem [1, 16], digitala biblioteksverktyg [17, 18,19] och språklig textanalys [20]. På grund av deras olika användningsområden möter verktygen naturligtvis olika utmaningar inom interaktionsdesign och användbarhet (t.ex. wiki-verktyg kräver att användarna behärskar en kommentarsspecifik syntax och klarar av många tekniska termer). Vi anser dock att den viktigaste utmaningen för användarinteraktionsdesign definieras av den begreppsmässiga nivån av semantisk annotation. Det vill säga, anteckningsprocessen är begreppsmässigt annorlunda om verktygen stöder enkla fritextanmärkningar (t.ex. [8, 9,10], erbjuder en delad vokabulär av begrepp (t.ex. [6, 7, 11] ), använder en lokal semantisk identitet (av tesaurus eller ontologi, t.ex. [5, 13, 15] ), eller använder delad semantisk identitet (t.ex. genom länkade ontologier som refererar till en länkad dataserver såsom DBpedia, t.ex. [2, 3, 18]). Utvecklingen av de flesta anteckningsverktyg har ett starkt fokus på att tillhandahålla ny funktionalitet. För de manuella noteringsverktygen var användbarhet typiskt en faktor i gränssnittsutvecklingen. Slutanvändarutvärderingar av gränssnitt och användarinteraktioner är dock mycket sällsynta. Slutanvändarerfarenhet av kommentarer. Få systemutvärderingar har övervägt slutanvändarnas erfarenheter. Handschuh utförde en verktygsutvärdering med användarens medverkan; dock användes deltagarna endast för att tillhandahålla noteringsdata som sedan analyserades för inter-annotator korrelation [7, 21]. Dessutom uttryckte forskarna besvikelse över den låga kvaliteten på kommentarer. Man sökte inte feedback på deltagarnas erfarenheter och deras mentala modell för processen. Bayerl m.fl. [22] betonar vikten av att skapa scheman och system som är hanterbara för mänskliga annoterare. De utvecklade en metod för systematisk schemautveckling och utvärdering av manuella annoteringar som innebär upprepad annotering av data av en grupp kodare. Erdmann m.fl. [23] har genomfört studier av manuell och halvautomatisk annotering som involverar användare. De beskriver sina deltagare som "mer eller mindre" kunna kommentera webbsidor. De flesta av de identifierade frågorna var dock av syntaktisk natur som lätt kunde åtgärdas med hjälp av verktygsstöd. Arbetet med retorisk språkanalys av vetenskapliga texter är nära relaterat till semantisk annotering [20]. Teufel genomförde användarstudier där hon letade efter stabilitet (samma klassificering över tiden med samma annotator) och reproducerbarhet (samma klassificering av olika annotatorer; liknande till Handschuhs interannotator korrelation). I likhet med [22] fann hon att komplexa scheman kan leda till
En översikt över manuella anteckningsverktyg ges i REF.
Semantic enrichment by non-experts: usability of manual annotation tools
{'venue': 'International Semantic Web Conference', 'journal': None, 'mag_field_of_study': ['Computer Science']}