Detta dokument tar upp det utmanande problemet med att lära sig av flera annoterare vars märkningsnoggrannhet (tillförlitlighet) skiljer sig åt och varierar över tiden. Vi föreslår en ram baserad på Sekventiell Bayesian Estimation för att lära sig den förväntade noggrannheten vid varje steg samtidigt som man beslutar vilka annoterare som ska fråga efter en etikett i en inkrementell inlärningsram. Vi utvecklar en variant av partikelfiltreringsmetoden som uppskattar den förväntade noggrannheten varje gång steg genom uppsättningar av viktade prover och utför sekventiella Bayes uppdateringar. De beräknade förväntade osäkerheterna används sedan för att avgöra vilka annoterare som ska bli tillfrågade vid nästa steg. Den empiriska analysen visar att den föreslagna metoden är mycket effektiv när det gäller att förutsäga den verkliga märkningen med hjälp av endast måttliga märkningsinsatser, vilket resulterar i renare etiketter för att utbilda klassificerare. Den föreslagna metoden överträffar betydligt en upprepad märkning baslinje som frågar alla märkare per exempel och tar majoriteten röst för att förutsäga den sanna etiketten. Dessutom kan vår metod spåra den verkliga exaktheten hos en notator ganska bra i avsaknad av guld standard etiketter. Dessa resultat visar styrkan i den föreslagna metoden när det gäller att uppskatta den tidsförändrande tillförlitligheten hos flera annoterare och producera renare, bättre kvalitetsetiketter utan omfattande etikettfrågor.
I REF föreslår författarna att man använder ett partikelfilter för att modellera de olika notatorernas tidsvariationer.
A Probabilistic Framework to Learn from Multiple Annotators with Time-Varying Accuracy
{'venue': 'SDM', 'journal': None, 'mag_field_of_study': ['Computer Science']}