till Profilering, matchning, och open-world expertfynd är viktiga uppgifter som kan åtgärdas med hjälp av funktionsbaserade representationer som ofta används i maskininlärning. Sådana effektiviseringsverktyg ger också perspektiv på hur peer-review processen kan förbättras: i synnerhet, idén om profilering naturligt leder till en uppfattning om att peer review syftar till att hitta den bästa publiceringsplats (om någon) för ett inlämnat papper. Att skapa en mer global inbäddning för peer-review processen som överskrider enskilda konferenser eller konferensserier med hjälp av ihärdiga granskare och författare profiler är enligt vår mening nyckeln till en mer robust och mindre godtycklig peer-review process. det finns en fast eller förutbestämd pool av människor eller resurser. Till exempel, tilldela papper för granskning i en sluten värld inställning antar en programkommitté eller redaktionell styrelse har redan samlats, och därför är huvuduppgiften en av matchande papper till potentiella granskare. I en öppen värld blir däremot uppgiften att hitta lämpliga experter. På samma sätt har en författare i en sluten värld redan beslutat vilken konferens eller tidskrift de ska skicka sin uppsats till, medan man i en öppen värld kan tänka sig ett recommender system som föreslår möjliga publiceringsplatser. Skillnaden mellan slutna och öppna världar är gradvis snarare än absolut: tillgången till en global databas med potentiella publiceringsställen eller granskare med tillhörande metadata skulle i själva verket göra åtskillnaden till en skala snarare än substans. Det är dock förmodligen rimligt att säga att i avsaknad av sådana globala resurser tenderar de nuvarande möjligheterna att vara inriktade på slutna miljöer. Här granskar vi forskning om steg II, III och V, med början i de senare två, som är mer av en sluten värld natur. I den för närvarande etablerade akademiska processen är peer review av skrivna verk beroende av lämplig uppgift till flera experter för sin granskning. Att identifiera den lämpligaste uppsättningen granskare för en given inlämnad uppsats är en tidskrävande och icke-trivial uppgift för konferensordförande och tidskriftsredaktörer-för att inte nämna finansiering program chefer, som förlitar sig på peer review för finansieringsbeslut. Här bryter vi ner problem med granskningsuppdraget i dess matchnings- och begränsningskomponenter och diskuterar möjligheter till beräkningsstöd. Formellt, med tanke på en uppsättning P papper med P på P = p och en uppsättning R av granskare med R= r, är målet med papperstilldelning att hitta en binär matris A r×p sådan att A i j = 1 indikerar att i-th granskaren har tilldelats j-th papper, och A i j = 0 annars. Uppdragsmatrisen bör uppfylla olika begränsningar, varav de mest typiska är: varje papper granskas av minst c granskare (vanligtvis c = 3), varje granskare tilldelas inte mer än m papper, där m = O (pc / r); och granskare bör inte tilldelas i ett stort kuvert, och skicka dem till programordföranden för konferensen, med hänsyn till att internationell post skulle ta 3-5 dagar att komma fram. I slutet av programmet skulle programordföranden ta emot alla dessa kuvert, tilldela dokumenten till de olika medlemmarna i programkommittén, och skicka ut dem för granskning per post i ett annat parti stora kuvert. Granskningarna skulle göras för hand på papper och postas tillbaka eller föras till programkommitténs möte. Slutligen skulle meddelanden och recensioner skickas tillbaka av programordföranden till författarna per post. Inlagor till tidskrifter skulle följa en liknande process. Det är tydligt att vi har gått ganska långt från denna pappersbaserade process, många av de steg som vi beskriver här skulle tyckas vara perversa för våra yngre läsare. Dessa dagar skickas dokument och recensioner online i något konferenshanteringssystem (CMS), och all kommunikation sker via e-post eller via diskussionsforum på CMS med alla metadata om personer och dokument som lagras i ett databasgränssnitt. Man skulle kunna hävda att detta har gjort processen mycket mer effektiv, i den mån vi nu anger tidsfristen för inlämning fram till den andra i en viss tidszon (i stället för ungefär som den sista postrundan vid programordförandens institution), och kan skicka ut hundratals om inte tusentals meddelanden med en knapptryckning. Dataforskare har studerat automatiserat beräkningsstöd för inlämning av konferenspapper sedan pionjärarbete på 1990-talet. 14 En rad olika metoder har använts för att minska den mänskliga ansträngningen att fördela papper, vanligtvis i syfte att producera uppdrag som liknar den "guldstandard" manuella processen. 9, 13, 16, 18, 30, 34, 37 Trots många publikationer om detta ämne under de mellanliggande åren har forskningsresultat i pappersuppgift gjort relativt få insteg i vanliga CMS-verktyg och vardagliga peer review praxis. Därför verkar det vi har uppnått under de senaste 25 åren vara en strömlinjeformad process snarare än en i grunden förbättrad. Vi anser att det skulle vara svårt att argumentera för att de beslut som fattas av programkommittéer i dag är betydligt bättre jämfört med den pappersbaserade processen. Men detta betyder inte att möjligheter att förbättra processen inte existerar - tvärtom, det finns, som vi visar i denna artikel, stort utrymme för att använda just de tekniker som forskare inom maskininlärning och artificiell intelligens har utvecklats under åren. I den bifogade tabellen erinras om de viktigaste stegen i peer review-processen och framhävs de nuvarande och framtida möjligheterna att förbättra den genom avancerat beräkningsstöd. När man diskuterar dessa frågor kommer det att vara till hjälp att skilja mellan stängda och öppna miljöer. I en sluten kronologisk sammanfattning av de viktigaste aktiviteterna inom peer review, med möjligheter att förbättra processen genom beräkningsstöd. ).............................................................................................. Eftersom detta problem är underspecificerat, kommer vi att anta att ytterligare information finns tillgänglig i form av en poängmatris M r×p uttrycker för varje pappersgranskare par hur väl de matchas med hjälp av ett icke-negativt tal (högre innebär en bättre matchning). Den bästa tilldelningen är då den som maximerar element-wise matrisen produkt i j A i j M i j samtidigt uppfylla alla begränsningar. Aktör Denna endimensionella definition av "bästa" garanterar inte den bästa uppsättningen granskare om ett papper täcker flera ämnen, till exempel ett papper om maskininlärning och optimering skulle kunna tilldelas tre granskare som är maskininlärning experter men ingen som är optimering experter. Denna brist kan åtgärdas genom att ersätta R med uppsättningen R c så att varje c-tuple R c representerar en eventuell tilldelning av c granskare. 24, 25, 42 De senaste verken lägger till tydliga begränsningar för ämnestäckning för att införliva flera dimensioner i definitionen av bästa tilldelning. 26, 31, 40 Andra typer av begränsningar har också beaktats, inklusive geografisk fördelning och rättvisa uppdrag, liksom alternativa begränsningslösaralgoritmer. 3, 19, 20, 43 Poängmatrisen kan komma från olika källor, möjligen en kombination. Här granskar vi tre möjliga källor: funktionsbaserad matchning, profilbaserad matchning och budgivning. En funktionsbaserad matchning. För att underlätta tilldelningen av inlämnade dokument till granskare krävs ofta en kort lista över ämnesord av vanliga CMS-verktyg som en del av inlämningsprocessen, antingen från en kontrollerad vokabulär, såsom ACM Computing Classification System (CCS), a eller som en fritext "folksonomi". Förutom att samla in nyckelord för de inlämnade dokumenten, tar ytterligare ett steg att också begära ämnesord från kroppen av potentiella granskare gör CMS-verktyg för att göra en enkel match mellan papper och granskare baserat på en räkning av antalet nyckelord de har gemensamt. För varje papper granskarna kan sedan rankas i ordning efter antalet matchande sökord. Om antalet nyckelord som förknippas med varje papper och varje granskare inte är fast kan jämförelsen normaliseras av CMS för att undvika alltför gynna längre listor med nyckelord. Om den övergripande vokabulär från vilken nyckelord väljs är liten så kommer de begrepp de representerar med nödvändighet att vara breda och sannolikt resultera i fler matchningar. Omvänt, om ordförrådet är stort, som i fallet med fritext eller ACM CCS, då begrepp som representeras kommer att finare korn, men antalet matcher är mer sannolikt att vara liten eller till och med obefintlig. Att manuellt tilldela nyckelord för att definiera ämnet skriftligt material är också subjektivt. På det medicinska området, där taxonomiska klassificeringssystem är vanliga, har det visat sig att olika experter, eller till och med samma expert över tiden, kan vara inkonsekventa i valet av nyckelord. 6, 7 När ett par nyckelord inte bokstavligen matchar, trots att man har valt att hänvisa till samma underliggande koncept, är en teknik som ofta används för att förbättra matchning också att matcha deras synonymer eller syntaktiska varianter som definieras i en tesaurus eller lexikon av förkortningar, till exempel att behandla "kodkontroll" och "walkthrough" som likvärdiga; likaså för "SVM" och "stödvektormaskin" eller "λ-calculus" och "lambda calculus". Om sådana enkla likvärdighetsklasser inte är tillräckliga för att fånga upp viktiga skillnader mellan ämnen – till exempel om skillnaden mellan "kodkontroll" och "genomgång" är betydande – då är en alternativ teknik att utnyttja den hierarkiska strukturen hos ett begrepp taxonomi för att representera avståndet mellan begreppen. I denna inställning kan en match baseras på de gemensamma förfäderna till begrepp-antingen räkna antalet delade förfäder eller beräkna någon kant traversal avstånd mellan ett par koncept, till exempel den tidigare ACM CCS-begreppet "D.1.6 Logisk programmering" har förfäderna "D.1 Programmeringsteknik" och "D. Programvara, som båda delas av begreppet 'D.1.5 Objektorienterad programmering', vilket innebär att D.1.5 och D.1.6 har en icke-noll likhet eftersom de har gemensamma förfäder. Att få en användbar representation av begreppet likhet från en taxonomi är utmanande eftersom åtgärderna tenderar att anta enhetlig täckning av begreppet utrymme så att hierarkin är ett balanserat träd. Tillvägagångssättet är ytterligare komplicerat eftersom det är vanligt att vissa begrepp visas på flera ställen i en hierarki, det vill säga taxonomier kan vara grafer snarare än bara träd, och följaktligen kan det finnas flera vägar mellan ett par begrepp. Situationen blir ännu värre om olika taxonomier används för att beskriva ämnet skrivna verk från olika källor eftersom det krävs en kartläggning mellan taxonomierna. Det är därför inte förvånande att ett av de vanligaste fynden i litteraturen om ontologiteknik är att ontologier, däribland taxonomier, tesaurier och ordböcker, är svåra att utveckla, underhålla och använda. 12 Så även med bra CMS-stöd kräver nyckelordsbaserad matchning fortfarande manuell ansträngning och subjektiva beslut från författare, granskare och, ibland, ontologiingenjörer. En användbar aspekt av funktionsbaserade matchning med nyckelord är att det gör att vi kan vända ett heterogent matchande problem (papper mot granskare) till en homogen (papper sökord mot granskare nyckelord). Sådana nyckelord är alltså ett enkelt exempel på profiler som används för att beskriva relevanta enheter (papper och granskare). Därefter tar vi idén om profilbaserad matchning ett steg längre genom att använda en mer allmän uppfattning om profil som innehåller icke-feature-baserade representationer såsom påsar med ord. Automatisk funktionskonstruktion med profilbaserad matchning. Den huvudsakliga idén med profilbaserad matchning är att automatiskt skapa representationer av semantiskt relevanta aspekter av både papper och granskare för att underlätta konstruktionen av en poängmatris. Ett självklart val av en sådan representation för papper är som en viktad påse-of-words (se "The Vector Space Model" sidebar). Vi måste sedan bygga upp liknande profiler av granskare. För detta ändamål kan vi representera en granskare genom insamling av alla deras författare eller medförfattare papper, som indexeras av vissa online arkiv såsom DBLP 29 eller Google Scholar. Denna samling kan omvandlas till en profil på flera sätt, bland annat: bygga upp profilen från ett enda dokument eller en webbsida som innehåller de bibliografiska detaljerna i granskarens publikationer (se översiktsartiklar om nyckelord). Antalet möjliga termer i en profil kan dock vara enormt och system som TPMS använder automatisk ämnesextraktion som en form av dimensionalitetsreduktion, vilket resulterar i profiler med termer som valts från ett begränsat antal nyckelord (ämnen). Som en användbar biprodukt av profilering kännetecknas varje papper och varje granskare av en lista över termer som kan ses som automatiskt konstruerade funktioner som kan utnyttjas ytterligare, till exempel att tilldela accepterade papper till sessioner eller att klargöra det relativa bidraget från enskilda termer till en likhetspoäng (se "SubSift och MLj Matcher" sidomenyn). Budgivning. En relativt ny trend är att överföra en del av papperstilldelningsuppgiften nedströms till granskarna själva, ge dem tillgång till alla inlämnade dokument och be dem att lägga bud på papper som de skulle vilja se över. Befintliga CMS-verktyg erbjuder stöd för olika anbudsförfarande, bland annat: tilldelning av ett fast antal "poäng" i ett godtyckligt antal papper, urval av toppk-papper, riskvärderingsvilja att granska papper enligt budstyrka, samt kombinationer av dessa. Därför kan budgivning ses som ett alternativt sätt att komma fram till en poängmatris som krävs för papperstilldelningsprocessen. Det finns också möjlighet att registrera intressekonflikter, om en granskares förhållande till upphovsmännen till ett visst dokument är sådant att granskaren inte är en lämplig granskare för det dokumentet. Även om det ligger i en granskares egenintresse att lägga bud, kommer alltid inte alla granskare att göra det, i vilket fall de dokument som de tilldelas för granskning kan mycket väl inte vara en bra matchning för deras expertis och intressen. Detta kan vara irriterande för granskaren, men är särskilt frustrerande för författarna till de berörda tidningarna. Avsaknaden av bud från vissa granskare kan också minska rättvisa tilldelningsalgoritmer i CMS-verktyg. 19 Standardalternativ i budgivningsprocessen kan inte lindra detta: om standardvärdet är "Jag kan inte se över detta" är granskaren effektivt utesluten från tilldelningsprocessen, medan om standardvärdet är att indikera någon minimal villighet att granska ett papper granskaren används effektivt som ett jokertecken och kommer att få de papper som är svårast att fördela. En hybrid av profilbaserad matchning och manuell budgivning utforskades för "SubSift och MLj-Matcher" sidebar), eller hämta eller låta granskaren ladda upp fulltext av (valda) papper, som sedan individuellt omvandlas till den erforderliga representationen och kollektivt medelvärdes för att bilda profilen (se "Toronto Paper Matching System" (TPMS) sidebar). När både papper och recensenter har profilerats kan poängmatrisen M fyllas med cosinuslikheten mellan termerna viktvektorer för varje pappersgranskarpar. Profilbaserade metoder för att matcha artiklar med granskare utnyttjar den intuitiva idén att de publicerade verken av granskare på något sätt beskriver deras specifika forskningsintressen och expertis. Genom att analysera dessa publicerade verk i förhållande till kroppen som helhet, kan diskriminerande profiler produceras som effektivt karakterisera granskare expertis från innehållet i befintliga heterogena dokument som sträcker sig från traditionella akademiska papper till webbplatser, blogginlägg och sociala medier. Sådana profiler har ansökningar i sig men kan också användas för att jämföra ett dokument med ett annat, rangordna godtyckliga kombinationer av dokument och, genom ombud, individer genom deras likhet med varandra. Ur ett maskininlärningsperspektiv skiljer sig profilbaserad matchning från funktionsbaserad matchning genom att profilerna är konstruerade på ett datadrivet sätt utan behov av att komma med ett The Toronto Paper Matching System TPMS (papermatching.cs.toronto.edu) har sitt ursprung som en fristående papperstilldelningsrekommendation för NIPS 2010-konferensen och har därefter löst integrerats med Microsofts Conference Management Toolkit (CMT) för att effektivisera tillgången till pappersinlagor för ICML 2012. TPMS kräver att granskare laddar upp ett urval av sina egna papper, rapporter och andra självvalda textdokument, som sedan analyseras för att producera deras granskningsprofil. Detta placerar kontroll över omfattningen av profilen i händerna på granskarna själva så att de behöver bara inkludera publikationer om ämnen som de är beredda att granska. När TPMS väl har laddats upp, kvarstår dokumenten och den resulterande profilen utanför ramen för en enda konferens, vilket gör det möjligt för granskare att återanvända samma profil för framtida konferenser, kurera sin egen uppsättning av karakteristiska dokument som de anser lämpligt. Den poängsättningsmodell som används liknar vektor-rymd-modellen men tar en Bayesian strategi. Dessutom kan profiler i TPMS uttryckas över en uppsättning hypotetiska ämnen snarare än råa termer. Ämnen är modellerade som dolda variabler som kan uppskattas med hjälp av tekniker som Latent Dirichlet Allocation. 4, 8 Denna ökade expressivitet kommer till priset av att kräva mer träningsdata för att avvärja risken för översittning. EP-Veckan Nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, jag, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, KOMMUNIKATIONER FRÅN ACM 75 översiktsartiklar ACM SIGKDD International Conference on Knowledge Discovery and Data Mining 2009. Vid budgivningstidpunkten presenterades granskarna med inledande bud som erhållits genom att matcha recensentens publikationsposter på DBLP med pappersabstracts (se "Experience from SIG-KDD'09" sidebar för detaljer) som utgångspunkt. Flera PC-medlemmar rapporterade att de ansåg att dessa anbud var tillräckligt bra för att befria dem från frestelsen att ändra dem, även om vi anser att det finns stort utrymme för att förbättra både kvaliteten på rekommendationer och användargränssnittet i framtida arbete. ICML 2012 undersökte vidare användningen av en hybridmodell och en förteckning över föreslagna anbud. b TPMS-programvaran som används på ICML 2012 erbjuder andra poängsättningsmodeller för att kombinera anbud med profilbaserad expertbedömning. 8, 9 Effektiv automatisk initiering av bud skulle ta itu med det ovannämnda problemet som orsakas av icke-budderande granskare. Om man antar att en papperstilldelning av hög kvalitet har uppnåtts med hjälp av en av de metoder som beskrivits tidigare, uppmanas granskarna nu att ärligt bedöma kvaliteten och nyheten i ett papper och dess lämplighet för den valda platsen (konferens eller tidskrift). Det finns olika sätt på vilka denna bedömning kan uttryckas: från ett enkelt ja/nej svar på frågan: "Om det helt och hållet var upp till dig, skulle du acceptera denna uppsats?" Genom ett betygsatt svar på en mer vanlig fem- eller sjupunktsskala (t.ex., Stark Acceptera (3); Acceptera (2); Svag Accept (1); Neutral (0); Svag Avvisa (-1); Avvisa (-2); Stark Avslag (-3)), att sortera svar på en uppsättning frågor som syftar till att karakterisera olika aspekter av papperet såsom nyhet, effekt, teknisk kvalitet och så vidare. Sådana svar kräver noggrann tolkning av minst två skäl. Den första är att granskare, och även område stolar, inte har fullständig information om hela uppsättningen inlämnade papper. Detta är viktigt i en situation där det totala antalet papper som kan godtas är begränsat, som i de flesta konferenser (det är mindre av ett nummer för tidskrifter). Huvudorsaken till att råa recensenter poäng är problematiska är att olika recensenter tenderar att använda den(a) skala(er) inblandade på olika sätt. Till exempel, b ICML 2012 översyn; http://hunch.net/?p=2407 vissa granskare tenderar att stanna i centrum av skalan medan andra tenderar att gå mer för ytterligheter. I detta fall skulle det vara tillrådligt att normalisera poängen, till exempel genom att ersätta dem med zscores. Detta korrigerar för skillnader i både medelvärden och standardavvikelser bland granskare och är ett enkelt exempel på kalibrering av granskningsresultat. För att uppskatta en granskares användning av dessa verktyg initierades varje granskares anbud med hjälp av en viktad summa av cosinus likhet mellan papperets abstrakt och granskarens publikationstitlar enligt DBLP data science online bibliografi, 30 och antalet delade ämnesområden (nyckelord). De kombinerade likhetspoängen diskretiserades till fyra bins med hjälp av manuellt valda trösklar, med den första bin är en 0 (no-bid) och de andra tre är bud med ökande styrka: 1 (vid en nypa), 2 (willing) och 3 (eager). Dessa ursprungliga bud exporterades från SubSift och importerades till konferenshanteringsverktyget (Microsoft CMT, cmt.research.microsoft.com). Baserat på samma likhetsinformation skickades varje granskare ett e-postmeddelande med en länk till en personlig SubSift genererad webbsida lista detaljer av alla 537 papper som beställts genom inledande bud tilldelning eller av någon av dess två komponenter: sökordsmatcher eller likhet med sina egna publicerade verk. På sidan listas också nyckelorden som hämtats från granskarens egna publikationer och de från vart och ett av de inskickade dokumenten. Guided by this personalized perspective, plus de vanliga titlarna och abstracts, recensenter bekräftade eller reviderade sina bud som registrerats i konferenshanteringsverktyget. För att kvantitativt utvärdera prestandan hos SubSift-verktygen ansågs de anbud som lämnats av granskare vara de "korrekta uppdrag" mot vilka SubSifts automatiserade uppdrag jämfördes. Om man bortser från anbudsnivån, inkluderades därefter en median på 88,2 % av de papper som SubSift rekommenderade i granskarens egna anbud (precision). Dessutom var en median på 80,0 % av de papper som granskarna bjöd på de som ursprungligen rekommenderades av SubSift (återkallande). Dessa resultat tyder på att tidningarna som så småningom bjöds på av granskare till stor del drogs från dem som tilldelades icke-noll bud av SubSift. Dessa resultat på verkliga data i en praktisk miljö är jämförbara med andra publicerade resultat med hjälp av språkmodeller. SubSift, kort för "submission sifting", utvecklades ursprungligen för att stödja pappersuppdrag på SIGKDD'09 och därefter generaliserades till en familj av webbtjänster och återanvändbara webbverktyg (www.subsift.com). Appliceringsverktyget består av flera SubSift-webbtjänster till ett arbetsflöde som drivs av ett guideliknande användargränssnitt som tar programstolen genom en serie webbformer av en pappersgranskare profilerings- och matchningsprocess. På det första formuläret skrivs en lista över PC-medlemsnamn in. SubSift slår upp dessa namn på DBLP och föreslår författare sidor som, efter alla nödvändiga disambiguation, används som dokument för att profilera PC-medlemmar. Bakom kulisserna, från en lista med bokmärken (urls), SubSifts skördarrobot hämtar en eller flera DBLP-sidor per författare, extraherar alla publikationstitlar från varje sida och aggregerar dem till ett enda dokument per författare. I nästa form, konferenspapper abstracts laddas upp som en CSV-fil och deras text används för att profilera papper. Efter att ha matchat PC-medlemsprofiler mot pappersprofiler, producerar SubSift rapporter med rangordnade listor över papper per granskare, och rangordnade listor över granskare per papper. Alternativt kan en CSV-fil laddas ner med inledande anbudsuppgifter för uppladdning till en CMS genom att man manuellt anger tröskelvärden för likhetspoäng eller genom att ange absoluta mängder. För redaktören för en tidskrift kan uppgiften att tilldela en ledamot av redaktionen ett papper för deras granskning ses som ett specialfall av problemet med inlämning av konferenspapper (utan budgivning), där tonvikten ligger på att hitta den bästa matchningen för en eller några papper. Vi byggde ett alternativt användargränssnitt till SubSift som stöder papperstilldelning för tidskrifter. Känd som MLj Matcher i sin ursprungliga inkarnation, har detta verktyg använts sedan 2010 för att stödja papper uppdrag för Machine Learning tidskriften samt andra tidskrifter. se över artiklarna val- och representationsmekanism. Den nuvarande generationen av CMS erbjuder inte beräkningsstöd för bildandet av en balanserad programkommitté; de antar tidigare existens av listan över potentiella granskare och istället koncentrera sig på att stödja det administrativa arbetsflödet att utfärda och acceptera inbjudningar. SubSift och MLj-Matcher Expertfynd. Denna brist på verktygsstöd är förvånande med tanke på det relevanta arbetet inom det sedan länge etablerade expertområdet. 2, 11, 15, 34, 47 Under åren sedan den första textinsamlingskonferensen 1992 har uppgiften att hitta experter på ett visst ämne regelbundet tagits upp i denna långa konferensserie och är nu en aktiv del av den bredare textinsamlingsdisciplinen. Expertfynd har en viss överlappning med områdena bibliometri, kvantitativ analys av akademiska publikationer och annan forskningsrelaterad litteratur, 21,38 och scientometri, vilket utvidgar tillämpningsområdet till att omfatta bidrag, patent, upptäckter, datautgångar och, i Storbritannien, mer abstrakta begrepp som "impact". 5 Expertsökning tenderar att vara mer profilbaserad (t.ex. baserad på dokumentens text) än länkbaserad (t.ex. baserad på korsreferenser mellan dokument) även om innehållsanalys är ett aktivt område för bibliometri i synnerhet och har använts i kombination med citeringsegenskaper för att länka forskningsämnen till specifika författare. 11 Även om scientometri i jämförelse med bibliometri omfattar ytterligare åtgärder, är i praktiken det dominerande synsättet inom båda områdena citeringsanalys av akademisk litteratur. Citationsanalys mäter egenskaperna hos nätverk av citering bland publikationer och har mycket gemensamt med hyperlänkanalys på webben, där dessa åtgärder använder liknande grafteoretiska metoder utformade för att modellera rykte, med anmärkningsvärda exempel inklusive Hubs och Myndigheter, och PageRank. Citationsgrafanalys, med hjälp av en partikelvarm algoritm, har använts för att föreslå potentiella granskare för ett papper på premissen att ämnet för ett papper kännetecknas av de författare det citerar. få partiskhet ( tenderar de att fela på den accepterande sidan eller snarare på den avvisande sidan?) och sprida ( tenderar de att göra poäng mer eller mindre självsäkert?) Vi behöver ett representativt urval av papper med en rimlig kvalitetsfördelning. Detta är ofta problematiskt för enstaka hänvisningar eftersom antalet dokument m som granskas av en enda granskare är för litet för att vara representativt, och det kan finnas avsevärda skillnader i kvaliteten på papper mellan olika partier som inte bör tillskrivas granskare. Det är dock möjligt att få mer information om granskarens partiskhet och förtroende genom att utnyttja det faktum att dokument granskas av flera granskare. För SIGKDD'09 använde vi en generativ probabilistisk modell som föreslogs av kollegor på Microsoft Research Cambridge med latenta (oobserverade) variabler som kan härledas genom meddelandepasserande tekniker såsom Förväntning Förökning. 35 De latenta variablerna inkluderar den verkliga papperskvaliteten, den numeriska poäng som tillskrivs av granskaren, och de tröskelvärden som denna särskilde granskare använder för att omvandla den numeriska poängen till den observerade rekommendationen på sjupunktsskalan. Kalibreringsprocessen beskrivs mer i detalj i Flach et al. 18 En intressant manifestation av recensent varians kom fram genom ett experiment med NIPS granskning 2014. 27 PC-ordförandena beslutade att en tiondel (166) av de inlämnade dokumenten skulle granskas två gånger, var och en av tre granskare och en områdesordförande. Det visade sig att de två områdesordförandenas accepterade/avvisade rekommendationer skilde sig åt i ungefär en fjärdedel av fallen (43). Med tanke på den totala acceptansfrekvensen på 22,5 % godtogs ungefär 38 av de 166 dubbelgranskade dokumenten efter rekommendationen från en av ordförandena. Ungefär 22 av dessa skulle ha förkastats om rekommendationen från den andra områdesordföranden hade följts i stället (förutsatt att meningsskiljaktigheterna fördelades enhetligt över de två möjligheterna), vilket tyder på att mer än hälften (57 %) av de godkända dokumenten inte skulle ha kommit till konferensen om de hade setts över en andra gång. Vad man kan dra för slutsats av vad som kom att kallas "NIPS experiment" utöver dessa grundläggande siffror är upp för debatt. Det är värt att påpeka att även om peer review processen så småningom leder till ett binärt acceptera / avvisa beslut, papperskvalitet definitivt inte: medan en viss del av papper helt klart förtjänar att accepteras, och en annan bråkdel tydligt förtjänar att avvisas, de återstående papper har för- och nackdelar som kan vägas upp på olika sätt. Så om två granskare tilldelar olika poäng till papper detta betyder inte att en av dem är fel, men snarare de plockas upp på olika aspekter av papperet på olika sätt. Vi föreslår en bra väg framåt är att tänka på granskarens jobb som att "profilera" dokumentet i termer av dess starka och svaga punkter, och skilja den översyn jobb korrekt från det slutliga acceptera / avvisa beslut. Man kan föreställa sig en situation där ett inlämnat papper kan gå till ett antal arenor (inklusive "null"-platsen), och granskningsuppgiften är att hjälpa till att avgöra vilken av dessa arenor som är lämpligast. Detta skulle göra peer review-processen till en matchningsprocess, där publiceringsarenor har en tydlig profil (vare sig de accepterar teoretiska eller tillämpade papper, vare sig det sätter större värde på nyhet eller på tekniskt djup, bland annat) som ska matchas av inlämningsprofilen som bestäms av peer review-processen. Vissa konferenser har redan ett separat tidskriftsspår som innebär någon form av granskningsprocess för att avgöra vilken plats som är mest lämplig.  Bildandet av en grupp granskare, vare sig det gäller konferenser, tidskrifter eller finansieringstävlingar, är en icke-trivial process som syftar till att balansera en rad objektiva och subjektiva faktorer. I praktiken, den faktiska processen genom vilken en programordförande monterar en programkommitté varierar från, på en extrem, inbjudan vänner och medförfattare plus deras vänner och medförfattare, till den andra ytterligheten av en formaliserad Det finns en mängd offentligt tillgängliga data om expertisen hos forskare som i princip skulle kunna användas för att profilera programkommittémedlemmar (utan att kräva att de väljer nyckelord eller uppladdningspapper) eller för att föreslå en rankad lista av kandidatinbjudningar för någon viss uppsättning ämnen. Uppenbara datakällor inkluderar akademiska hemsidor, onlinebibliografier, stipendier, jobbtitlar, forskargruppsmedlemskap, evenemang som närvarar samt medlemskap i yrkesorganisationer och andra granskarpooler. Trots att sådana uppgifter finns tillgängliga finns det ett antal problem med att använda dem för att hitta en expert på ett visst ämne. Om uppgifterna ska lokaliseras och användas automatiskt är det nödvändigt att identifiera den eller de individer som beskrivs i uppgifterna. Tyvärr är en persons namn inte garanterat att vara en unik identifierare (UID): ofta inte vara globalt unik i första hand, de kan också ändras genom titel, val, äktenskap, och så vidare. Saker och ting förvärras, eftersom många akademiska referensstilar använder förkortade former av ett namn med hjälp av initialer. Internationella variationer i ordbeställning, teckenuppsättningar och alternativa stavningar gör namnupplösningen ännu mer utmanande för ett peer review-verktyg. Problemet med disambikering av upphovsmän är i själva verket tillräckligt utmanande för att ha fört med sig stora forskningsansträngningar under årens lopp, vilket i sin tur har lett till praktisk utveckling av verktyg på områden med liknande krav på att hitta potentiella peer reviewers. Profiler RNS stödjer till exempel att hitta forskare med specifik expertis och inkluderar en författare Disambiguation Engine med hjälp av faktorer som namn permutationer, e-postadress, institutionstillhörigheter, kända medförfattare, tidskriftstitlar, ämnesområden och nyckelord. För att ta itu med dessa problem i sina egna skivsystem har förlag och bibliografiska databaser som DBLP och Google Scholar utvecklat egna egenutvecklade UID-system för att identifiera bidragslämnare till publicerade verk. Det finns dock nu en betydande drivkraft bakom den icke-proprietära Open Researcher och Bidragande ID (ORCID) e och förlag kartlägger i allt högre grad sina egna UID på ORCID UIDs. Ett subtilt problem kvarstår för peer review verktyg när man associerar data, särskilt akademiska publikationer, med en enskild forskare eftersom en hel del akademiskt arbete tillskrivs flera bidragslämnare. Hoppet om att lösa enskilda bidrag kommer från en samlad insats för att bättre dokumentera alla resultat av forskning, inklusive inte bara papper utan även webbplatser, dataset och programvara, genom rikare metadatabeskrivningar av forskningsobjekt. Balans och täckning. Att hitta sökande granskare är bara en del av en programordförandes uppgift att bilda en kommitté-attention måste också betalas till täckning och balans. Det är viktigt att se till att mer populära områden får proportionellt mer täckning än mindre populära områden, samtidigt som man inte utesluter mindre kända men potentiellt viktiga nya områden. Således finns det ett subjektivt element för att balansera och täckning som inte helt fångas av poängmatrisen. Den senaste tidens arbete syftar till att ta itu med detta för konferenser genom att förfina kluster, beräknade från en poängmatris, med hjälp av en form av crowdsourcing från programkommittén och från e http://orcid.org Vi föreslår ett bra sätt är att tänka på en granskares jobb att "profilera" tidningen i termer av dess starka och svaga punkter, och skilja den översyn jobb korrekt från den slutliga acceptera / avvisa beslut. granska artiklar ily lösas när vi har en poäng matris bedöma för varje pappersgranskare par hur väl de matchas. f Vi har beskrivit en rad tekniker från informationshämtning och maskininlärning som kan producera en sådan poängmatris. Begreppet profiler (av granskare och papper) är användbart här eftersom det förvandlar ett heterogent matchningsproblem till ett homogent. Sådana profiler kan formuleras mot ett fast ordförråd (bag-of-words) eller mot en liten uppsättning ämnen. Även om det är fashionabla i maskininlärning att behandla sådana ämnen som latenta variabler som kan läras från data, har vi hittat stabilitetsproblem med latenta ämnesmodeller (dvs lägga till några dokument till en samling kan helt ändra de inlärda ämnena) och har börjat experimentera med handgjorda ämnen (till exempel uppslagsverk eller Wikipedia poster) som utökar nyckelord genom att tillåta sina egna påse-of-word representationer. Ett kanske mindre allmänt studerat område där framsteg ändå har gjorts gäller tolkningen och kalibreringen av den mellanliggande produktionen i peer review-processen: de aspekter av översynerna som bidrar till beslutsprocessen. I sin enklaste form är dessa poäng på en ordinal skala som ofta helt enkelt är genomsnittliga. Emellertid är genomsnittsbedömningar från olika bedömare-som är vanligt inom andra områden också, till exempel, betygsättning kursarbete-är full av svårigheter eftersom det gör det orealistiska antagandet att varje bedömare poäng i samma skala. Det är möjligt att justera för skillnader mellan enskilda granskare, särskilt när en granskningshistorik finns tillgänglig som spänner över flera konferenser. Ett sådant globalt granskningssystem som bygger upp permanenta granskare (och författare) profiler är något som vi stöder i princip, även om många detaljer måste utarbetas innan detta är genomförbart. Vi anser också att det skulle vara fördelaktigt om de enskilda granskarnas roll flyttades bort från att vara en ersatzdomare som försöker svara på quesf Detta gäller för den enkla versionen som nämndes tidigare, men ytterligare begränsningar kan komplicera problemet med tilldelning. författare till godkända papper. 1 Ett annat exempel på beräkningsstöd för att samla en balanserad uppsättning granskare kommer inte från konferenser utan från en amerikansk finansiär, National Science Foundation (NSF). Den NSF presiderar över en budget på över 7,7 miljarder dollar (FY 2016) och får 40 000 förslag per år, med stora tävlingar locka 500-1,500 förslag; peer review är en del av NSF: s kärnverksamhet. För ungefär ett decennium sedan utvecklade NSF Revaide, ett datamining verktyg för att hjälpa dem att hitta förslagsgranskare och att bygga paneler med expertis som är lämplig för de ämnen som tas emot förslag. 22 Vid uppbyggnaden av profiler av potentiella granskare beslutade NSF att inte använda bibliografiska databaser som Citeseer eller Google Scholar, av samma skäl som vi diskuterade tidigare. I stället valde de en sluten världsstrategi genom att begränsa antalet potentiella granskare till författare av tidigare (en enda författare) förslag som hade bedömts som "funderbara" av granskningsprocessen. Detta säkrade tillgången till ett UID för varje upphovsman och tillförlitliga metadata, inklusive upphovsmannens namn och institution, vilket underlättade upptäckten av intressekonflikter. Granskare profiler är konstruerade från texten i deras tidigare förslag dokument (inklusive referenser och CV) som en vektor av de 20 topptermer med de högsta tf-idf poäng. Sådana dokument var kända för att vara alla av liknande längd och stil, vilket förbättrade relevansen av den resulterande tf-idf poäng. Samma sak gäller för de förslag som skall ses över, och därför har profiler av samma typ konstruerats för dessa. För en maskininlärningsforskare skulle ett självklart nästa steg mot att bilda paneler med lämplig täckning för ämnena i bidragen vara att samla ihop de mottagna förslagens profiler och använda de resulterande klustren som grund för paneler, till exempel att matcha potentiella granskare mot en prototypisk medlem av klustret. Före Revaide hade NSF faktiskt experimenterat med användningen av automatiserad klusterbildning för panelbildning, men dessa försök hade visat sig misslyckade av ett antal skäl: storleken på kluster tenderade att vara ojämn; kluster uppvisade dålig stabilitet när nya förslag kom gradvis; det fanns en brist på anpassning av paneler till NSF organisationsstruktur; och, på liknande sätt, ingen anpassning till specifika konkurrensmål, såsom ökat deltagande av underrepresenterade grupper eller skapa resultat av intresse för industrin. Så, eschewing kluster, Revaide stödde istället den etablerade manuella processen genom att kommentera varje förslag med sina 20 bästa termer som ett praktiskt alternativ till manuellt levererade sökord. Andra idéer för verktygsstöd i panelformation övervägdes. Inspirerad av konferens peer review, NSF experimenterade med budgivning men fann att granskare hade starka preferenser mot välkända forskare och detta tillvägagångssätt misslyckades med att säkerställa att det fanns granskare från alla bidragande discipliner av ett tvärvetenskapligt förslag-en särskild oro för NSF. Återigen, manuella processer vann ut. Revaide fann dock en värdefull roll för klusterteknik som ett sätt att kontrollera manuella tilldelningar av förslag till paneler. För att göra detta beräknade Revaide en "genomsnittlig" vektor för varje panel, genom att ta den centrala punkten i vektorerna för sina panelmedlemmar, och sedan jämföra varje förslag vektor mot varje panel. Om ett förslags tilldelade panel inte är dess närmaste panel då programregissören varnas. Med hjälp av denna metod föreslog Revaide bättre uppdrag för 5 % av alla förslag. Med samma representation användes Revaide också för att klassificera övergivna förslag, vilket föreslog en lämplig panel. Även om klassificeringen bara var 80% korrekt, vilket uppenbarligen inte är tillräckligt bra för ett helt automatiserat uppdrag, spelade den en värdefull roll i NSF arbetsflödet: så i stället för att varje programchef måste sålla igenom, låt oss säga, 1000 övergivna förslag fick de ett första uppdrag av, låt oss säga, 100 av vilka de skulle behöva omplacera runt 20 till andra paneler. Vi har visat att toppmoderna verktyg från maskininlärning och artificiell intelligens gör intrång för att automatisera och förbättra delar av peer review processen. Att tilldela granskare dokument (eller bidragsförslag) är ett område där stora framsteg har gjorts. Den kombinatoriska allokeringsproblem kan eas- granska artiklartion "Skulle du acceptera detta papper om det var helt upp till dig?" Mot en mer konstruktiv roll att karakterisera och faktiskt profilera det dokument som läggs fram. Lägga annorlunda, förutom förslag till förbättring till författarna, granskarna försöker samla metadata om det papper som används längre ner i pipeline för att bestämma den mest lämpliga publiceringsplats. I princip skulle detta göra det möjligt att frikoppla granskningsprocessen från enskilda arenor, vilket också skulle möjliggöra bättre lastbalansering och skalning. 46 I ett sådant system, författare och granskare skulle vara medlemmar i någon central organisation, som har befogenhet att tilldela papper till flera publiceringsställen-ett futuristiskt scenario, kanske, men det är värt att tänka på de speciella begränsningar som vårt nuvarande konferens-och tidskriftsdrivna system ställer, och som tydligt leder till en suboptimal situation i många avseenden. De beräkningsmetoder som vi beskrev i denna artikel har använts för att stödja andra akademiska processer utanför peer review, inklusive en personlig konferensplaneringsapp för delegater, g en organisatorisk profiler 36 och en personlig kursrekommendation för studenter baserat på deras akademiska profil. 41 I den bifogade tabellen presenteras några andra möjliga framtida riktlinjer för beräkningsstöd för akademisk peer review i sig. Vi hoppas att de tillsammans med denna artikel stimulerar våra läsare att tänka på hur den akademiska peer review processen-den här konstiga dansen där vi alla deltar på ett eller annat sätt-kan framtidssäkras på ett hållbart och skalbart sätt.
Ref gjorde en grundlig undersökning av de olika metoderna för beräkningsstöd till peer review-systemet.
Computational support for academic peer review: a perspective from artificial intelligence
{'venue': 'CACM', 'journal': None, 'mag_field_of_study': ['Computer Science']}