Vi diskuterar faktorer som påverkar den mänskliga överenskommelsen om en semantisk märkningsuppgift i konsthistoriska domänen, baserat på resultaten av fyra experiment där vi varierade antalet etiketter annoterare kunde tilldela, antalet annoterare, typen och mängden utbildning de fick, och storleken på texten spänner som är märkt. Med hjälp av märkningarna från ett experiment med sju annoterare undersöker vi relationen mellan interannotatoravtal och maskininlärning. Vi konstruerar binära klassificeringar och varierar tränings- och testdata genom att byta ut märkningarna från de sju annoterarna. För det första tycker vi att prestanda ofta är ganska bra trots lägre än rekommenderat interannotatoravtal. För det andra, vi finner att i genomsnitt, lärande prestanda för en given funktionell semantisk kategori korrelerar med den övergripande överenskommelsen bland de sju annoterare för den kategorin. För det tredje finner vi att inlärningsprestanda på data från en given notator inte korrelerar med kvaliteten på denna notators märkning. Vi erbjuder rekommendationer för användning av märkta data i maskininlärning, och hävdar att elever bör försöka anpassa sig till mänsklig variation. Vi noterar också implikationer för storskaliga corpus annotation projekt som behandlar liknande subjektiva fenomen.
I REF finns en liknande brist på korrelation mellan interannotatoravtal och maskininlärningsresultat i en empirisk undersökning.
Relation between Agreement Measures on Human Labeling and Machine Learning Performance: Results from an Art History Domain
{'venue': 'LREC', 'journal': None, 'mag_field_of_study': ['Computer Science']}