Peer review kan vara "single-blind", där granskare är medvetna om namn och tillhörighet av pappersförfattare, eller "dubbel-blind", där denna information är dold. Med tanke på att datavetenskaplig forskning ofta förekommer först eller uteslutande i peer-reviewed konferenser snarare än tidskrifter, studerar vi dessa två granskande modeller i samband med den 10: e Association for Computing Machinery International Conference on Web Search and Data Mining, en mycket selektiv plats (15,6% accept rate) där expertkommittémedlemmar granskar heltidsansökningar för godkännande. Vi presenterar ett kontrollerat experiment där fyra kommittémedlemmar granskar varje dokument. Två av dessa fyra granskare har hämtats från en grupp av kommittéledamöter med tillgång till information om upphovsmän. De andra två har hämtats från en delad pool utan sådan tillgång. Denna information asymmetri kvarstår genom processen att lämna anbud på papper, granska papper och ange poäng. Recensenter i det enblinda tillståndet brukar bjuda 22 % färre papper och hellre bjuda på papper från toppuniversitet och företag. När papper tilldelas granskare, enblind granskare är betydligt mer sannolikt än sina dubbelblinda motsvarigheter att rekommendera för godkännande papper från kända författare, toppuniversitet och toppföretag. De uppskattade oddsmultiplikatorerna är påtagliga, 1.63, 1.58 respektive 2.10. peer review  på 1600-talet och betraktas i allmänhet som en hörnsten i den vetenskapliga metoden (2). Detaljerna i dess genomförande har granskats och utforskats inom många akademiska discipliner. Vårt fokus ligger på konsekvenserna av att göra författarens information tillgänglig för granskare. Denna fråga är fortfarande ett aktivt diskussionsområde, där många viktiga tidskrifter och konferenser väljer att göra denna information tillgänglig och många andra väljer att dölja den. Terminologin är inte helt enhetlig över vetenskaperna, men efter vanlig användning inom datavetenskap, vi hänvisar till enblind granskning som praxis att göra granskare medvetna om författarens identitet men inte tvärtom. Vid en dubbelblind granskning är ingen av parterna medveten om den andra partens identitet. Det finns omfattande litteratur om vetenskaplig peer review övergripande och om enblind vs. dubbelblind granskning i synnerhet. En detaljerad undersökning (3) granskar över 600 litteraturbitar om granskning; en nyare undersökning (4) fokuserar särskilt på frågor om peer-reviewer blindhet. Eftersom frågan väcker starka känslor finns det också många redaktioner i ämnet (5-7). Standardpraxis för prövningsblindhet skiljer sig åt mellan olika fält (8). Ändå finns det många exempel på tidskrifter som byter granskande modell, med olika och ibland motstridiga analyser av resultaten (9-12). Kritiker av anonym granskning hävdar att behålla anonymitet kan vara ogenomförbart, kan införa för mycket overhead, kan göra det svårt att utvärdera arbete mot bakgrund av en grupps pågående forskning riktning, eller kan göra det svårt att upptäcka intressekonflikter (13, 14). Supporters hävdar att kunskap om författarna introducerar oönskade fördomar i granskningsprocessen (15-17). Vi diskuterar i detalj tre olika former av partiskhet. För det första föreslogs Matildaeffekten, där artiklar från manliga första författare bedöms ha större vetenskapliga meriter än papper från kvinnliga första författare, särskilt inom mansdominerade områden. För det andra föreslog Merton (19) Matthew-effekten, där redan kända forskare får lejonparten av erkännandet för nytt arbete. För det tredje, den seminala experimentella studien av Blank (15) ägnar betydande tid åt att diskutera förutfattade meningar till följd av ryktet eller kvaliteten på författarnas institutioner. Se Andra studier för studier av dubbelblind granskning. Vår studie omfattar bidrag till den 10:e internationella föreningen för datormaskiner Conference on Web Search and Data Mining (WSDM 2017). Inom datavetenskapen förekommer forskning oftast först och ofta uteslutande i konferenser snarare än i tidskrifter. Analys av citeringsmönster tyder på att dataforskare i själva verket belönas med företräde för publicering i konferenser snarare än i tidskrifter (20, 21). Konferensrecensioner inom datavetenskap är vanligtvis baserade på fulllånga manuskript snarare än abstracts, och var och en granskas i sin helhet av flera experter inbjudna till konferensprogramkommittén. Selektiva konferenser som WSDM accepterar vanligtvis 15-20 % av inlagorna. Det nuvarande arbetet kom till när två av författarna till denna uppsats ombads att leda programmet för WSDM 2017, som historiskt sett har föredragit enblind granskning. Vi ombads överväga att byta till dubbelblind granskning. Vid en genomgång av litteraturen upptäckte vi ingen inom ämnet experimentell studie av frågan och åtog oss därför denna studie för att göra en välgrundad vetenskaplig peer review har varit en hörnsten i den vetenskapliga metoden sedan 1600-talet. Debatten fortsätter om fördelarna med enblind granskning, där anonyma granskare känner författarna till ett papper och deras tillhörighet, jämfört med dubbelblind granskning, där denna information är dold. Vi presenterar en experimentell studie av denna fråga. Inom datavetenskapen förekommer forskning ofta först eller uteslutande i peer-reviewed konferenser snarare än tidskrifter. Vår studie anser att full-längds bidrag till den mycket selektiva 2017 Web Search and Data Mining konferens (15,6% acceptansgrad). Varje inlämning görs samtidigt av två enblinda och två dubbelblinda granskare. Vår analys visar att enblind granskning ger en betydande fördel till tidningar med kända författare och författare från högprestige institutioner. En utökad sammanfattning av detta arbete har tidigare publicerats som preprint (1).
REF utförde ett kontrollerat experiment på vetenskapliga artiklar som lämnats in till den 10:e ACM Conference on Web Search and Data Mining, där hälften av granskarna för varje artikel hade tillgång till författarens information, medan den andra hälften inte gjorde det.
Reviewer bias in single- versus double-blind peer review
{'venue': 'Proceedings of the National Academy of Sciences of the United States of America', 'journal': 'Proceedings of the National Academy of Sciences of the United States of America', 'mag_field_of_study': ['Computer Science', 'Medicine']}