I detta dokument beskrivs och utvärderas i stor utsträckning ett system för automatisk routing av inlämnade dokument till granskare och områdeskommittéer, utan att det behövs någon mänsklig kommentar från granskarna eller programordföranden. Routing baseras på en profil av tidigare skrifter som kan erhållas on-line för granskningspoolen, en allmänt stabil och återanvändningsbar resurs som inte kräver någon manuell anpassning för nya inlämningsströmmar. Papperet undersöker en bred uppsättning variationer och förlängningar på kärnmodellen, och uppnår systemnoggrannhet närmar sig det av flera mänskliga domare på samma uppgift. Att skicka in dokument, abstracts eller bidragsförslag till kvalificerade granskare är en central uppgift för det akademiska företaget, och en anmärkningsvärt svår uppgift. Vanligtvis utförs det under betydande tidspress i en konferens översyn cykel. I takt med att antalet bidrag och storleken på recensentpoolen ökar blir det allt svårare för en konferensordförande att känna till de olika kompetenserna hos alla medlemmar i programkommittén. Det är också svårt för en person att behärska finesserna i fina ämnesområdesskillnader när ämnesmångfald i en konferens blir stor. Av dessa skäl använder konferenser som ACL (Association for Computational Linguistics) ofta en hierarkisk programkommittéstruktur, där inlämnade dokument först skickas till områdeskommittéer, och sedan mer specialiserade områdes ordförande har till uppgift att tilldela papper till enskilda granskare i kommittén. Inom ett mångsidigt och tvärvetenskapligt område som behandling av naturligt språk är det dock ofta svårt att definiera tydliga beskrivningar av kommittén, och programordföranden måste fortfarande vara medveten om den detaljerade sakkunskapen hos områdeskommittémedlemmarna för att leda atypiska eller tvärvetenskapliga dokument till kommittéer med den lämpligaste gruppen av granskare. De resultat av låg inter-rater konsekvens som visas i tabell 12 visar att människor tycker att även område kommitté routing är en svår uppgift. Följande dokument fokuserar på en rad automatiserade lösningar på denna uppgift att routing papper till deras mest lämpliga område kommitté. Den presenterar en omfattande empirisk undersökning och utvärdering av ett brett spektrum av frågor som rör denna uppgift. Tidigare publicerade forskning om problemet med automatisk routing av konferenspapper bidrag är förvånansvärt begränsad. Tillvägagångssätten för denna uppgift kan i huvudsak delas upp i fyra huvudstrategier: Den första strategin bygger på nyckelord. Upphovsmännen måste specificera en lista över ämnes- eller ämnesområden för sina uppsatser (ofta från en förspecificerad termlista), och granskarna ska därefter genomföra en undersökning av deras relativa kompetensnivå på denna lista över ämnen/underämnen. Detta tillvägagångssätt följs av en översyn av AAAI-konferensen. Det lider av problemet att författare ofta har svårt att välja nyckelord för att på ett tillfredsställande sätt beskriva sitt arbete. Det fungerar bäst i konferenser som är mycket breda, och är minst effektiv i mer fokuserade workshops där routing skillnader inom ämnesområde och paradigm är mer subtila. Den andra strategin är att bygga upp en statistisk profil av granskarnas expertis genom att få fram relevanta bedömningar av en uppsättning abstrakta data. AAAI kräver också att dess granskare rankar (bid on) inlämnade abstracts, och det finns för närvarande opublicerat arbete med att undersöka tillämpningen av övervakad routing på den rangordnade granskaren bud på AAAI inlämnade abstracts (Hirsh, personlig kommunikation). I banbrytande arbete, Dumais och Nielsen (1992) utvecklat ett system för routing av Hypertext'91 abstracts med latent semantisk indexering (Deerwester et al., 1990), utbildad från tillgängliga textkällor inklusive en liten uppsättning recensenter-inlämnade abstracts, on-line böcker och ACM artiklar som en källa för den termby-dokument matris som används i deras singular value decompositions. Recensenter rangordnade manuellt sitt intresse i alla inlämnade abstracts, och bästa prestanda uppnåddes när recensenter tilldelades dubbelt så många som deras målantal abstracts och bad att välja sin föredragna halva. Ett problem med modellering av recensenter ranking / bud är att dessa kan baseras mer på vad recensenten tycker är intressant snarare än vad 220
På samma sätt använder REF en centroid (en term vektor) som genereras från papper representanter för granskarens expertis.
Taking The Load Off The Conference Chairs - Towards A Digital Paper-Routing Assistant
{'venue': 'Joint SIGDAT Conference On Empirical Methods In Natural Language Processing And Very Large Corpora', 'journal': None, 'mag_field_of_study': ['Computer Science']}