Syfte: Crowdsourcing är processen att outsourca många uppgifter till många otränade individer. Vårt mål var att bedöma prestanda och repeterbarhet av crowdsourcing för klassificering av retinal fundus fotografering. Ett hundra retinal fundus fotografier med förutbestämda sjukdomskriterier valdes ut av experter från en stor kohortstudie. Efter att ha läst korta instruktioner och en exempelklassificering begärde vi att kunskapsarbetare från en crowdsourcingplattform klassificerade varje bild som normal eller onormal med svårighetsgrad. Varje bild klassificerades 20 gånger av olika KWs. Fyra studieutformningar undersöktes för att bedöma effekten av varierande incitament och KW erfarenhet av klassificeringsnoggrannhet. Alla studiedesigner utfördes två gånger för att undersöka repeterbarheten. Prestanda bedömdes genom att jämföra känslighet, specificitet och area under mottagarens karakteristiska kurva (AUC). Resultat: Utan begränsning för berättigade deltagare mottogs 2 000 klassificeringar av 100 bilder på mindre än 24 timmar till minimal kostnad. I studie 1 hade alla studiedesigner en AUC (95 % CI) på 0,701(0,680-0,721) eller högre för klassificering av normalt/onormalt. I studie 1 var den högsta AUC (95 % KI) för normal/onormal klassificering 0,757 (0,738-0,776) för KW med måttlig erfarenhet. Jämförbara resultat observerades i studie 2. I studie 1, var mellan 64-86% av någon onormal bild korrekt klassificerad av över hälften av alla KWs. I studie 2 varierade detta mellan 74-97 %. Känslighet var $96% för normala kontra allvarligt onormala detektioner i alla försök. Känslighet för normalt kontra lätt onormalt varierade mellan 61–79 % i alla studier. Slutsatser: Med minimal träning, crowdsourcing representerar en korrekt, snabb och kostnadseffektiv metod för retinal bildanalys som visar god repeterbarhet. Större studier med mer omfattande deltagarutbildning behövs för att undersöka nyttan av denna övertygande teknik i storskalig medicinsk bildanalys.
Miltry m.fl. REF har visat effektiviteten av att använda crowdsourcing i klassificeringen retinal fundus fotografi bilder.
Crowdsourcing as a Novel Technique for Retinal Fundus Photography Classification: Analysis of Images in the EPIC Norfolk Cohort on Behalf of the UKBiobank Eye and Vision Consortium
{'venue': 'PLoS ONE', 'journal': 'PLoS ONE', 'mag_field_of_study': ['Medicine']}