Expertissökande forskning studerar hur människor söker kompetens och väljer vem de ska kontakta inom ramen för en specifik uppgift. Ett viktigt resultat är modeller som identifierar faktorer som påverkar expertfynd. Expertis hämtning tar itu med samma problem, expertsökning, men ur ett system-centrerad perspektiv. Huvudfokus har legat på att utveckla innehållsbaserade algoritmer som liknar dokumentsökning. Dessa algoritmer identifierar motsvarande experter främst på grundval av textinnehållet i de dokument som experterna är knutna till. Andra faktorer, t.ex. de som identifierats med hjälp av expertbaserade modeller, beaktas sällan. I den här artikeln utökar vi innehållsbaserade expertsökningsstrategier med kontextuella faktorer som har visat sig påverka mänskliga expertfynd. Vi fokuserar på en uppgift för forskningskommunikatörer i en kunskapsintensiv miljö, uppgiften att hitta liknande experter, med ett exempel expert. Vår strategi kombinerar expertis-sökning och hämtning forskning. För det första genomför vi en användarstudie för att identifiera kontextuella faktorer som kan spela en roll i den studerade uppgiften och miljön. Sedan designar vi expertbaserade hämtningsmodeller för att fånga upp dessa faktorer. Vi kombinerar dessa med innehållsbaserade hämtningsmodeller och utvärderar dem i ett hämtningsexperiment. Vår huvudsakliga slutsats är att även om innehållsbaserade funktioner är de viktigaste, tar även mänskliga deltagare hänsyn till kontextuella faktorer, såsom medieupplevelse och organisationsstruktur. Vi utvecklar två principiella sätt att modellera de identifierade faktorerna och integrera dem med innehållsbaserade hämtningsmodeller. Våra experiment visar att modeller som kombinerar innehållsbaserade och kontextuella faktorer avsevärt kan överträffa befintliga innehållsbaserade modeller. Mottaget den 16 mars 2009; reviderat den 19 november 2009; accepterat den 19 november 2009 1 Detta är en utökad och reviderad version av Hofmann, Balog, Bogers, & de Rijke, 2008.  Den ökande mängden information som finns tillgänglig gör att behovet av att kritiskt bedöma information blir viktigare. Belastningen av trovärdighetsbedömning och kvalitetskontroll flyttas delvis över till enskilda informationssökande, men behovet av informationsförmedlare (t.ex. experter) har inte försvunnit och ökar faktiskt i de fall där informationens trovärdighet måste uppfylla höga krav (Metzger, 2007). Mot denna bakgrund är expertfynd en särskilt relevant uppgift: att identifiera och välja ut individer med särskild sakkunskap, till exempel för att hjälpa till med en uppgift eller lösa ett problem. Expertfynd har tagits upp ur olika synvinklar, bland annat kompetenssökning, som huvudsakligen är systemcentrerad, och kompetenssökning, som studerar mänskliga aspekter. Målet med expertsökning är att stödja sökandet efter experter med hjälp av informationsinsamlingsteknik. I enlighet med det experimentella paradigm och utvärderingsramverk som inrättats i informationsinsamlingsgemenskapen har expertsökning tagits upp i de globala utvärderingsinsatserna (Craswell, de Vries, & Soboroff, 2006). Lovande resultat har uppnåtts, särskilt i form av algoritmer och testsamlingar (Bailey, Craswell, Soboroff, & de Vries, 2007; Balog, 2008). Toppmoderna hämtningsalgoritmer modellexperter på grundval av de dokument som de är knutna till, och hämta experter på ett visst ämne med hjälp av metoder baserade på dokumenthämtning, såsom språkmodellering (Balog, Azzopardi, & de Rijke, 2009; Balog, Soboroff, et al., 2009). I utvärderingar av dessa algoritmer har användaraspekter tagits bort. Medan forskning om kompetenssökning främst har fokuserat på att identifiera goda aktuella matchningar mellan behov av expertis och innehållet i dokument som förknippas med kandidatexperter, beteendestudier av mänsklig expertis söker har funnit att det kan finnas viktiga ytterligare faktorer som påverkar hur människor lokaliserar och väljer experter (Woudstra & Van den Hooff, 2008); sådana faktorer inkluderar tillgänglighet, tillförlitlighet, fysisk närhet, och up-dateness. Vi kallar dessa kontextuella faktorer för att skilja dem från innehållsbaserade faktorer som har undersökts i tidigare arbete (diskuteras senare). Sammanhang kan anses omfatta många dimensioner, inklusive faktorer relaterade till organisationen, informationssökande, informationsobjekt, arbetsuppgift, sökuppgift och så vidare (jfr. Cool & Spink, 2002; Ingwersen & Järvelin, 2005; Kelly, 2006), men här fokuserar vi på en specifik dimension: kontextuella faktorer relaterade till informationsobjekt, i våra fall-experter. Andra element kan spela en roll, men deras inverkan kan inte studeras i vårt upplägg: uppgift, organisation och informationssökningssystem är fasta; individuella skillnader mellan informationssökande lämnas utanför vårt övervägande. Vårt mål i den här artikeln är att utforska integreringen av kontextuella faktorer i innehållsbaserade hämtningsalgoritmer för att hitta liknande experter. Vi tittar på detta problem i samband med inrättandet av PR-avdelningen vid ett universitet, där kommunikationsrådgivare anställda vid universitetet får förfrågningar om aktuella experter från media. Det specifika problemet vi tar itu med är: Den högsta expert som identifierats av en kommunikationsrådgivare som svar på en begäran är inte tillgänglig på grund av möten, semestrar, sabbatsår, eller andra skäl. I detta fall, kommunikationsrådgivare måste rekommendera liknande experter, och detta är inställningen för vår expert hitta uppgift. Utifrån denna uppgift tar vi upp tre huvudsakliga forskningsfrågor: • Vilka kontextuella faktorer påverkar (mänskliga) beslut när vi hittar liknande experter i den universitetsmiljö vi studerar? • Hur kan sådana faktorer integreras i innehållsbaserade algoritmer för att hitta liknande experter? • Kan integrering av kontextuella faktorer med befintliga, innehållsbaserade metoder förbättra hämtningsförmågan? För att besvara våra forskningsfrågor går vi vidare enligt följande. Genom en uppsättning enkäter som fylls i av ett universitets kommunikationsrådgivare identifierar vi kontextuella faktorer som spelar en roll i hur liknande experter identifieras i denna situation, och vi konstruerar ett testdataset för att utvärdera hämtningsprestanda. Vi utvärderar både innehållsbaserade tillvägagångssätt och tillvägagångssätt där vi integrerar kontextuella faktorer. Artikelns bidrag är trefaldigt. För en specifik expertsökningsuppgift lyckas vi identifiera faktorer som människor använder för att välja ut liknande experter. Vi modellerar flera identifierade faktorer och integrerar dessa med befintliga, innehållsbaserade metoder för att hitta liknande experter. Vi visar att våra nya modeller avsevärt kan överträffa tidigare tillvägagångssätt. Våra resultat visar att det är möjligt att identifiera och modellera kontextuella faktorer i den studerade uppgiften att hitta liknande experter, och vi tror att detta kan vara fallet även för andra hämtningsuppgifter. Resten av artikeln är organiserad enligt följande. Vi ger först bakgrundsinformation om mänsklig kompetenssökning och kompetenssökning. Därefter beskriver vi vår strategi, inklusive de metoder som används för datainsamling, hämtningsmodeller och hämtningsutvärdering. Därefter ges och diskuteras våra resultat. Slutligen lägger vi fram slutsatser och skisserar det framtida arbetet. Forskning om hur man på ett effektivt sätt kan dela med sig av expertis kan spåras tillbaka till åtminstone 1960-talet när studier inom biblioteks- och informationsvetenskap undersökte vilka källor till informationskunskap som forskare och ingenjörer använder (Menzel, 1960). Senare arbete har identifierat komplexa informationssökande strategier som bygger på en mängd olika informationskällor, inklusive mänskliga experter (Hertzum, 2000; Rosenberg, 1967). Från resultaten av denna forskning (och andra influenser) växte insikten om att de anställdas kompetens är ett stort värde av en organisation och att effektivt kunskapsutbyte kan leda till materiella vinster (Davenport & Prusak, 1998; Sprull & Kiesler, 1996; Wiig, 1997). Området kunskapshantering utvecklades med målet att använda kunskap inom en organisation så väl som möjligt. Ett fokus låg på att utveckla informationssystem som kunde stödja sökandet efter kompetens. De första strategierna var främst inriktade på hur man kunde förena olika och olika databaser i organisationen till ett enda datalager som lätt kunde brytas (EKSGW'99 Workshop, 1999; Seid & Kobsa, 2000). Resultatverktyg förlitar sig på människor för att själv bedöma sina färdigheter mot en fördefinierad uppsättning nyckelord, och använder ofta heuristik som genereras manuellt baserat på nuvarande arbetspraktik. Trots de framsteg som hittills gjorts är frågan om hur man effektivt kan få tillgång till sakkunskap långt ifrån löst, och den behandlas fortfarande ur olika synvinklar. Inom människocentrerad forskning, som vi kallar kompetenssökning, har ett av målen varit att utveckla beskrivande och normativa modeller för hur mänskliga informationskällor används. En del av detta arbete utgör grunden för vår undersökning, eftersom det hjälper oss att identifiera de faktorer som spelar en roll när det gäller att hitta liknande experter i den miljö vi studerar. Vi presenterar ett urval av arbeten som är relevanta för den här artikeln i nästa avsnitt. I systemcentrerat arbete, för vilket vi använder termen kompetenssökning, har ett fokus legat på utveckling av effektiva hämtningsalgoritmer. Detta arbete utgör grunden för hämtningsaspekterna i vår studie, inklusive den innehållsbaserade grundläggande hämtningsalgoritmen, relevansbedömning och utvärderingsmetodik. En översikt över det senaste arbetet inom detta område ges senare. Av den människocentrerade forskning som vi kallar kompetenssökning är vi särskilt intresserade av modeller för hur människor väljer en expert. De mest relevanta är modeller som identifierar specifika faktorer som kan spela en roll. Vi måste kunna identifiera ganska specifika faktorer så att vi kan modellera dessa och integrera dem i en återvinningsmodell. Flera studier har identifierat faktorer som kan spela en roll i beslut av vilken expert att kontakta eller rekommendera. I en studie av förtroende-relaterade faktorer i expert rekommendation, Heath, Motta, och Petre (2006) fann att erfarenhet och opartiskhet av experten kan spela en roll, och kan dessutom vara beroende av en uppgift kritiskitet och subjektivitet. Borgatti och Cross (2003) visade att kunskap om en experts kunskap, värdering av denna kunskap, och att kunna få tillgång till en experts kunskap inflytande som experter söker kontakt efter hjälp. Skillnader mellan arbetsuppgifter när det gäller mängden och motivationen för expertsökning, samt vilken typ av verktyg som används indikerar en möjlig påverkan av arbetsuppgifter. Användningen av information om sociala nätverk förväntas gynna expertsökning baserad på domänanalys (Terveen & McDonald, 2005), och användarna är mer benägna att välja expertis sökresultat som inkluderar social nätverksinformation (Shami, Ehrlich, & Millen, 2008). Woudstra och Van den Hooff (2008) fokuserade på faktorer som rör kvalitet och tillgänglighet vid källval (dvs. uppgiften att välja vilken expertkandidat som ska kontaktas i en viss situation). Kvalitetsrelaterade faktorer är tillförlitlighet och aktuellhet hos experten; tillgänglighet innefattar fysisk närhet och kognitiv ansträngning som förväntas när man kommunicerar med experten. Dessa faktorer identifieras i en studie av informationssökande uppgifter som utförs på deltagarnas arbetsplatser. Studien följer ett tankerikt protokoll, och betydelsen av enskilda faktorer bedöms genom beräkning av hur ofta de nämns när experter utvärderas. Vi listar de faktorer som identifierats av Woudstra och Van den Hooff (2008) i tabell 1. Kvalitetsrelaterade faktorer (Factors 1-4) verkar vara de viktigaste medan förtrogenhet (Factor 10) också verkar spela en roll. Vi använder de faktorer som de identifierat som grunden för att identifiera kontextuella faktorer i vår studie. Ytterligare bevis på nyttan av enskilda kontextuella faktorer (t.ex. information om sociala nätverk) tillhandahålls av system som tillämpar expertsökning, men eftersom dessa system vanligtvis inte utvärderas direkt när det gäller hämtningsprestanda kan enskilda faktorers bidrag inte lätt bedömas. Svar Garden 2 är ett distribuerat hjälpsystem som innehåller en expert-finnande komponent (Ackerman & McDonald, 2000). Förutom aktuella matcher, systemet implementerar ett antal heuristik som befunnits användas i mänsklig expertis söker, såsom "stanna lokalt" (dvs. först be medlemmar i samma grupp) eller medarbetare. Denna heurism kan vara relaterad till faktorer som förtrogenhet och tillgänglighet. K-net är inriktat på att förbättra utbytet av underförstådd kunskap genom att öka medvetenheten om andras kunskap (Shami, Yuan, Cosley, Xia, & Gay, 2007). Systemet använder information om sociala nätverk, befintliga färdigheter och nödvändiga färdigheter hos en person, som uttryckligen tillhandahålls av användarna. Den SmallBlue systemet minerar en organisations elektroniska kommunikation för att ge expert profilering och expertis hämtning (Ehrlich, Lin, & GriffithsFisher, 2007). Både textinnehåll i meddelanden och information om sociala nätverk (mönster för kommunikation) används. Systemet utvärderas i termer av användbarhet och användbarhet. Slutligen redogjorde Liebregts och Bogers (2009) för utvecklingen och den systematiska utvärderingen av ett expertsystem. Författarna utförde systembaserad, expertbaserad och slutanvändarutvärdering och visade att kombination av olika källor av expertbevis förbättrar söknoggrannheten och hastigheten. Expertishämtning syftar till att utveckla algoritmer som kan stödja sökandet efter expertis med hjälp av informationsinsamlingsteknik. Ämnet har tagits upp vid expertinsamlingen av företagsspåret, som pågick mellan 2005 och 2008 vid den årliga textåterhämtningskonferensen (Bailey, Craswell, de Vries, & Soboroff, 2008; Bolog, Soboroff, et al., 2009; Craswell, de Vries, & Soboroff, 2006; Soboroff, de Vries, & Crawell, 2007). Den specifika uppgiftsuppställningen och utvärderingen av expertinsamlingsuppgiften vid TREC har förändrats över tiden. Målet var att utforma en uppgift som återspeglar verkliga expertfynd så bra som möjligt samtidigt som man tar hänsyn till begränsningar när det gäller tillgängliga data och resurser för relevansbedömning. Under de första två åren, var uppgiften baserad på W3C-samlingen, bestående av en crawl av webbplatsen w3c.org, plattformen för W3C, 2005). Under 2005 var uppgiften att förutsäga medlemskap i expertgrupper, med tanke på gruppens namn som expertområde. Sanningens grunddata för denna uppgift fanns i corpus. Under 2006 skapades och bedömdes ämnen av uppgiftsdeltagarna. Ämnena liknade ad hoc-ämnen. Systemen var tvungna att återsända kandidatexperter och styrkande dokument, och expertis bedömdes av deltagarna på grundval av dessa styrkande dokument. År 2007 utvecklades en ny samling baserad på de intranätsidor som Commonwealth Scientific and Industrial Research Organization (CSIRO; Bailey m.fl., 2007). Syftet med att använda denna samling var att utvärdera kompetenssökning och företagssökning inom ramen för en realistisk arbetsuppgifts-vetenskapskommunikatörer inom CSIRO utvecklade ämnen och lämnade relevanta bedömningar. Denna inställning är närmast den som används i den här artikeln. Under 2008 användes samma samling och ämnen skapades och bedömdes av deltagarna. Expertis hämtning experiment vid TREC har uteslutande fokuserat på expertis fynd (dvs., med tanke på ett ämne, hitta experter på ämnet). Andra uppgifter som har undersökts är expertprofilering (dvs., med tanke på en person, lista de områden där han eller hon är expert) och hitta liknande experter (dvs., givet en person, returnera liknande experter). Utöver TREC-samlingarna introducerades UvT-kollektionen av Balog, Bogers, Azzopardi, de Rijke och van den Bosch (2007). Det representerar ett typiskt intranät av en stor organisation. I detta sammanhang finns en relativt liten mängd rena, flerspråkiga uppgifter tillgängliga för ett stort antal experter. Denna samling används i vår studie (diskuteras senare). Den uppgift som behandlas i den nuvarande artikeln är att hitta liknande experter, och först formulerades och togs upp i Balog och de Rijke (2009): En expertsökning uppgift som ett litet antal exempel experter ges, och systemets uppgift är att returnera liknande experter. Balog och de Rijke definierade, jämförde och utvärderade fyra sätt att företräda experter: genom sina samarbeten, genom de dokument som de är knutna till, och genom de termer med vilka de är associerade (antingen som en uppsättning diskriminerande termer eller som en vektor för termer vikter). Likhet mellan experter beräknas med hjälp av Jaccard koefficient och cosinus likhet. Senare kommer vi att använda dessa metoder och utöka dem med representationer av experter baserade på självförsörjande profiler för att bilda våra basmodeller. En utmaning i innehållsbaserad expertsökning är att systemen måste gå längre än dokumenthämtning, eftersom de är skyldiga att hämta enheter istället för dokument. Bevis från dokument används för att uppskatta sammanslutningar mellan experter och dokument eller experter och ämnen (Balog et al., 2006; Balog, Azzopardi, & de Rijke, 2009 ). Få algoritmer har föreslagits som tar hänsyn till faktorer utöver textdokumentens innehåll. Genom att utöka bevisen på sakkunskap utöver de dokument som är direkt knutna till en expertkandidat införde Serdyukov, Rode och Hiemstra (2008) grafbaserade algoritmer som sprider bevis på sakkunskap via flera steg av relaterade dokument och experter. Detta tillvägagångssätt liknar de sökstrategier som observerats i fallstudier av expertis söker: Människor kedja bevis på expertis, hitta experter via dokument och andra experter (Hertzum, 2000). Efter en liknande intuition använde Karimzadehgan, White och Richardson (2009) information från grafer som representerar en organisatorisk hierarki för att berika information om anställda om vilka lite information är känd. De visade att människor som är nära i termer av den organisatoriska hierarkin vanligtvis har liknande expertis, och att detta kan utnyttjas för att förbättra hämtningen prestanda. Amitay m.fl. (2008), Balog och de Rijke (2009), Jiang, Han och Lu (2008) samt Serdyukov och Hiemstra (2008) undersökte webben som en källa till ytterligare sakkunskap. Amitay m.fl. fokuserad på bevis som kan erhållas från Web 2.0-program som sociala bokmärken och bloggar. Serdyukov och Hiemstra utforskade systematiskt olika typer av webbbevis med hänsyn till lokala, regionala och globala bevis, och källor från den allmänna webben, såsom specifika typer av dokument, nyheter, bloggar och böcker. Serdyukov och Hiemstra fann att användningen av fler beviskällor vanligtvis resulterar i bättre ranking. Balog och de Rijke fann att korta textsnuttar som returneras av en webbsökmotor kan användas effektivt för att generera expertprofiler. I detta avsnitt presenterar vi de experiment som vi har designat för att ta itu med våra forskningsfrågor. Vi beskriver först i vilken miljö våra experiment genomfördes, följt av den datainsamlingsmetod som används för att identifiera kontextuella faktorer och för att skapa en testdatauppsättning som används för att utföra expertis-återkommande experiment. Därefter beskriver vi våra kompetensåterhämtningsmodeller: de innehållsbaserade modellerna som utgör vår baslinje och de principer som används för att modellera och integrera kontextuella faktorer. Slutligen beskriver vi de åtgärder som används för att utvärdera våra hämtningsmodeller och metoder som används för parameteruppskattning. Den arbetsuppgift som vi fokuserar på är att hitta liknande experter inom ramen för PR-avdelningen vid Tilburg University. Universitetet har 6 kommunikationsrådgivare, 1 ansvarig för universitetet som helhet och 1 rådgivare för var och en av fakulteterna nationalekonomi och företagsekonomi, juridik, social- och beteendevetenskap, humaniora och teologi (jfr. Tabell 2 ).............................................................................................................. Vanligtvis tar kommunikationsrådgivare emot förfrågningar från media om att hitta experter på specifika ämnen. Sådana förfrågningar kommer till exempel från tidningar och radioprogram som vill ha snabba men informerade reaktioner på aktuella händelser, eller från tidskrifts- och tidningsförlag som behöver mer ingående kunskap för att kunna ta fram specialnummer eller artiklar om ett visst bredare tema. Att hitta den bästa experten för varje begäran är inte alltid trivialt: Experten i fråga kan inte vara tillgänglig på grund av möten, semestrar, sabbatsår, eller andra skäl. I detta fall måste kommunikationsrådgivare rekommendera liknande experter. Detta är den situation som vi fokuserar på i vår artikel: Vad liknande experter bör rekommenderas om den bästa experten är Den dokumentsamling vi använder för våra experiment är den befintliga UvT Expert Collection 2, som utvecklades för expertsökning och expertprofilering uppgifter. Denna samling är baserad på en krypning av ett expertsystem, WebWijs, som används vid Tilburg University. WebWijs 3 är en allmänt tillgänglig databas över universitetsanställda som är involverade i forskning eller undervisning. Detta omfattar till exempel professorer, teknisk personal och stödpersonal, postdoktorer och andra forskare samt doktorander. Var och en av de 1 168 experterna i WebWijs har en sida med kontaktuppgifter och, om den görs tillgänglig av experten, en forskningsbeskrivning och publikationslista. Dessutom kan varje expert själv bedöma sina kompetensområden genom att välja från en lista över 1 491 kunskapsområden, och uppmuntras att föreslå nya kunskapsområden som läggs till efter godkännande av WebWijs redaktör. Kunskapsområden är organiserade i en aktuell hierarki, och varje kunskapsområde har en separat sida tillägnad det som visar alla experter som är knutna till detta område och, om tillgängligt, en lista över relaterade områden. För våra experiment har vi utökat samlingen med ämnen och relevanssbetyg för uppgiften att hitta liknande experter. Ytterligare en resurs som vi använder för våra experiment är medielistan som finns på Tilburg University. Denna lista sammanställs årligen av universitetets kansli för offentliga och externa frågor. Denna lista rankar forskare efter medieframträdanden, med olika medietyper som har en annan påverkan på poängen. I detta program får media hits mellan 1 och 6 poäng, med omnämnanden i lokala tidningar som får 1 poäng, och internationella TV-framträdanden får 6 poäng. Vi ansåg att medierankningen för de tre åren (2005) (2006) (2007) var tillgänglig för oss och samlade in genomsnittet och den totala mediepoängen för varje expert på dessa listor. Datainsamlingen tjänade två syften: a) att få insikt i de faktorer som spelar en roll när människor beslutar om liknande experter i den studerade miljön och b) att konstruera en testuppsättning för 2 http://ilk.uvt.nl/uvt-expert- collection/ 3 http://www.uvt.nl/webwijs/ evaluation of our liknande expert finding models using standard hämtning- evaluation methods. Alla 6 kommunikationsrådgivare vid Tilburg University deltog i vår studie. Uppgifterna samlades in genom ett tryckt frågeformulär som fylldes i av deltagarna i deras normala arbetsmiljö och returnerades per post. Denna uppsättning valdes eftersom den ansågs kräva minst ansträngning för kommunikationsrådgivare, vars tid var begränsad för att delta i studien. En kopia av frågeformuläret finns i bilagan. Observera att studien genomfördes på holländska, deltagarnas modersmål, men här tillhandahåller vi en engelsk översättning. Frågeformuläret bestod av tre delar: a) bakgrundsinformation, b) relevansbedömning och c) uttrycklig bedömning av kontextuella faktorer. I den första delen ombads deltagarna att få bakgrundsinformation om sin arbetsfunktion, sina dagliga aktiviteter och vilka informationskällor de vanligtvis konsulterar i sin dagliga verksamhet. De tillfrågades också om hur ofta de fick förfrågningar om experter, för att ge exempel på sådana förfrågningar och för att förklara hur dessa vanligtvis behandlas. Den andra delen av frågeformuläret inriktades på att få fram relevanta bedömningar för liknande expertuppdrag och de faktorer som påverkar dessa beslut. För att identifiera orsakerna till deltagarnas beslut om relevans ställde vi tre uppföljningsfrågor för varje utvärderat ämne: "Varför skulle du rekommendera denna expert?" "Varför rangordnade du experter på det här sättet?" "Varför gav du den lägsta poängen till den här experten?" Frågor formulerades som öppna frågor för att vi skulle kunna upptäcka nya faktorer. I den tredje delen av frågeformuläret uppmanades deltagarna att uttryckligen bedöma hur dessa faktorer påverkar deras rekommendationsbeslut. Vi använde en 4-punkts liknande skala och de faktorer som identifierades i Woudstra och Van den Hooff (2008) (diskuteras tidigare, se tabell 1 ). Observera att del 3 i frågeformuläret endast lades till en gång i slutet av frågeformuläret (dvs. när alla relevanta bedömningar gjordes och öppna frågor besvarades), så att bedömarna inte skulle bli partiska av att se faktorerna. Som tidigare förklarats var den andra delen av det frågeformulär i tre delar som användes för insamling av uppgifter inriktad på att få relevanta bedömningar för vårt test. I vår inställning, testuppsättningen består av en uppsättning par (målexpert, lista över liknande experter), så "testämnen" är experter för vilka liknande experter behöver hittas. Dessa testämnen utvecklades på följande sätt. För varje kommunikationsrådgivare valde vi ut de 10 topprankade medarbetarna från sin fakultet utifrån de medielistor som universitetets PR-avdelning tagit fram (diskuterade tidigare). För 1 fakultet innehöll medielistan endast 6 anställda och 2 medarbetare var medlemmar i två fakulteter. För den universitetsomfattande kommunikationsrådgivaren, JURNAL AV AMERIKANSKA SAMHÄLLET FÖR INFORMATIONSVETENSKAP OCH TEKNIK 5 DOI: 10.1002/asi de 10 bästa anställda vid hela universitetet valdes. 4 Totalt har 56 testämnen skapats; dessa inkluderade 12 dubbletter, vilket lämnar oss med 44 unika testämnen. För varje testämne fick vi två typer av relevansbedömning från kommunikationsrådgivare. För det första bad vi (lämpliga) rådgivare att ta fram en eller flera liknande experter, tillsammans med skälen till rekommendationerna och de informationskällor som användes eller skulle användas för att besvara denna begäran (jfr. Bilagor till frågorna II.1-3. För det andra (på en separat sida i frågeformuläret) bad vi lämplig(a) rådgivare att bedöma likheten mellan en förteckning över 10 systemrekommenderade experter som en ersättning på en skala från 1 (minst sannolikt att rekommendera) till 10 (mest sannolikt att rekommendera; se. Bilagor till frågorna II.4–5. Denna förteckning över tio systemrekommenderade experter per testämne sammanställdes från tre olika körningar, vilket motsvarar de tre ämnescentrerade baslinjekörningar (DOCS, TERMS, OMRÅDEN) som beskrivs i nästa avsnitt. Deltagarna ombads sedan att motivera sina kreditvärderingsbeslut (som beskrivits tidigare). Vi valde att samla in de två typerna av relevanta bedömningar för att identifiera eventuella uppenbara kandidater som baslinjekörningarna saknades. Ordningen för att presentera de två frågorna valdes för att undvika partiskhet genom namnlistan. Expertrelevansbedömningarna konstruerades därefter på följande sätt: De betyg som deltagarna lämnade på de tio experter som förtecknas i bilaga II.4 användes som relevansbedömningar för varje testämne. Liknande experter som endast nämndes som svar på fråga II.1 men inte i topp-10-listan över fråga II.4 fick den högsta relevanta bedömningen på 10 (om de nämndes i båda frågorna, användes den rang som anges i fråga II.4). Experter som inte var betygsatta eller inte anställda vid universitetet längre togs bort. För de tolv dubbla testämnena var de två kommunikationsrådgivarenas betyg genomsnittliga och avrundade för att ta fram en enda uppsättning relevanta bedömningar för varje ämne. För att uppskatta relevansbedömningarnas tillförlitlighet jämför vi bedömningar av de 12 överlappande ämnena. Den procentuella överenskommelsen mellan notatorer är 87 % om vi beaktar två klasser: topprankade experter (dvs. betygsätts som "10") anses relevanta; alla andra kreditbetyg anses inte relevanta. I detta fall är Cohens δ 0,674, vilket tyder på ett betydande avtal (jfr. Landis & Koch, 1977). I hälften av fallen föreslog dessutom båda notatorerna oberoende av varandra samma expert (dvs. innan vi såg vår förslagslista). Detta relativt höga avtal kan tyda på att deltagarna lätt kan identifiera ett litet antal liknande experter. Överenskommelse på finare granularitet (dvs. när man betraktar varje rank som en klass) är svårt att fastställa på grund av låg överlappning mellan rankningar (Vissa kandidater var inte rangordnade när deltagarna inte kände sig bekväma betyg en kandidat), men är i allmänhet lägre än på den högsta rankningen. 4 Vi använde den senaste versionen av listan som var tillgänglig för oss (Covering 2006; uppviglingsarbetet ägde rum i början av 2008); detta gjordes för att se till att kommunikationsrådgivare skulle känna till testämnena och kunna föreslå en liknande expert. Utgångsvärden. Som vår utgångspunkt för att hitta liknande experter, vi anser innehållsbaserad likhet endast, utelämnar alla kontextuella faktorer. För att beräkna innehållsbaserad likhet representerar vi medarbetare genom det innehåll som är förknippat med dem. Vi överväger två källor: a) dokument kopplade till dessa experter och b) de expertområden som experter manuellt valde för sin kompetensprofil i WebWijs. Dessa två informationskällor återspeglar de två typer av källor som vanligtvis finns tillgängliga i stora organisationer och som tidigare har använts för expertexperiment. Den första, dokument associerade med en expert, kan erhållas från e-post eller dokument-version system, eller föreningar kan härledas från personer namn som nämns i dokument. Denna typ av information har varit huvudfokus för experiment i TREC Enterprise uppgift (Bailey et al., 2007). Den andra informationskällan är representativ för data-inkvarteringssystem där anställda måste selfassessing sina färdigheter (Seid & Kobsa, 2000). Liknande information kan utvinnas från publikationer där författare själv väljer aktuella områden från en taxonomi som ACM Computing Classification System. 5 Från de två informationskällor som vi har tillgängliga, mäter vi (innehållsbaserad) likhet av två experter med hjälp av följande tre representationer: Detta är den uppsättning av kunskapsområden som manuellt valts ut av expert e från en ändlig uppsättning fördefinierade kunskapsområden. Med hjälp av de representationer som beskrivits tidigare konstruerar vi funktionen sim T (e, f)  på [0, 1] som motsvarar graden av innehållsbaserad likhet mellan experter e och f (tabell 3). För de set-baserade representationerna [D(e, K(e)] beräknar vi Jaccard-koefficienten. Likheten mellan vektorer för termfrekvenser [t(e)] uppskattas med hjälp av cosinusavståndet. De tre metoderna för att mäta likheter på grundval av de tidigare angivna representationerna kallas DOCS, TERMS respektive OMRÅDEN. Metoder DOCS och TERMS tas från Balog och de Rijke (2007) medan OMRÅDEN motiveras av de data som görs tillgängliga i WebWijs. Eftersom våra likhetsmetoder är baserade på två källor (dvs. dokument och kunskapsområden) förväntar vi oss att kombinationer kan leda till förbättringar jämfört med enskilda metoders prestanda. Frågan om hämtningsrun kombinationer har en lång historia, och många modeller har föreslagits. Vi anser att ett särskilt val är Fox och 5 CF. http://www.acm.org/about/class; liknande taxonomier finns för de flesta vetenskapliga discipliner.  (e, f) = "D(e)" D(f) och "D(e)" D(f) TERMS-dokument vektor: t(e) sim TERMS (e, f) = cos(t(e), t(f)) Shaws (1994) kombinationskamSUM-regel, även kallad linjär kombination. I denna modell består totalpoängen av den viktade summan av individuella poäng. I de fall då viktsummorna uppgår till 1 motsvarar detta det viktade genomsnittet av individuella poäng. Optimala vikter uppskattas empiriskt (diskuteras senare). Eftersom en anställd e, vi beräkna övergripande innehållsbaserade likhetspoäng sim T (e, f) (för kandidater f ) som den viktade summan av enskilda innehållsbaserade likhetspoäng sim T i : där w i betecknar vikten och sim T i är likhetspoäng enligt metod T i som definieras i tabell 3. Utöver den innehållsbaserade likhetspoäng som definierats tidigare, modellerar vi kontextuella faktorer som visar sig påverka mänskliga beslut på vad liknande expert att rekommendera. Vårt mål är att optimera rangordningen av kandidatexperter genom att ta hänsyn till ytterligare information från dessa faktorer. När vi identifierar vilka kontextuella faktorer som spelar en roll i människors beslut att rekommendera experter vet vi inte exakt hur dessa faktorer påverkar beslutet och därmed hur de ska modelleras. Därför utforskar vi flera principiella sätt att modellera och kombinera dessa faktorer, som var och en kan återspegla hur dessa faktorer fungerar. Vi överväger två sätt att modellera dessa faktorer: a) inputberoende och b) input-oberoende. I det förra fallet är en kandidat f's kontextuella poäng beroende av egenskaper hos den person och för vilken liknande experter söks. I det senare fallet beräknar vi en kontextuell poäng för en kandidat expert f oberoende av (input) person e. I båda modellerna, den kontextuella poäng en kandidat expert f kombineras med innehållsbaserade likhet poäng sim T (e, f ) definieras tidigare. Input-beroende modellering av kontextuella faktorer. Modelleringsfaktorer på ett indataberoende sätt innebär att vi modellerar en faktor som ett likhetsmått. Detta alternativ liknar de innehållsbaserade baslinjemodeller som tidigare diskuterats i den meningen att likheten mellan experter uppskattas med hjälp av avstånd i vissa funktionsrymder. Funktionerna är utformade för att återspegla de kontextuella faktorer som visar sig spela en roll i att rekommendera liknande experter (diskuteras tidigare och igen i avsnittet Resultat). Man kan till exempel anta att två anställda som ingår i samma forskargrupp kan rekommenderas som liknande experter. En enkel modell skulle kunna tilldela en likhetspoäng på 1 om de två arbetena i samma grupp, och en poäng på 0 om de arbetar i olika grupper. Mer formellt, med tanke på en expert e och en kandidat f, bestämmer vi input-beroende likhet poäng sim D i (e, f) mellan dessa experter i termer av den kontextuella faktorn C i. För faktorer med nominella värden, vi ställer in likheten till 1 om värdena är lika, och till 0 om de skiljer sig: där C i (·) betecknar värdet för den kontextuella faktorn C i. Om faktor C i är numerisk, bestämmer vi likhetspoängen baserat på den absoluta skillnaden mellan de normaliserade värdena av C i : där C i min och C i max är de minsta och högsta värdena av faktor C i, så att sim D i (e, f)  till [0, 1]. Den slutliga indataberoende kontextuella likhetspoängen är den linjära kombinationen av innehållsbaserade och kontextuella likhetspoäng: där w i, j betecknar vikterna för individuella innehållsbaserade och kontextuella likhetsmetoder, fastställda genom en serie experiment (dicuserade senare). Här modellerar vi kontextuella faktorer oberoende av den expert för vilken vi söker liknande experter, vilket innebär att vi antar att kandidater med vissa egenskaper är mer benägna att rekommenderas som en liknande expert. Till exempel kan en person med en lång publikationslista anses vara mycket tillförlitlig, vilket kan öka den totala risken för att denne person rekommenderas som expert. Vi antar oberoende av de individuella kontextuella faktorer C i och sätta där w i betecknar vikten av den innehållsbaserade likhetsmetoden i och w j betecknar vikten av kandidat expert f's poäng med tanke på värdet av den kontextuella faktorn C i. Observera att antagandet om oberoende görs för förenkling, men kanske inte alltid är realistiskt. Vi modellerar poäng C i (f ) som sannolikheten för f rekommenderas som en expert villkorad på C i : där E betecknar händelsen att en kandidat f rekommenderas som expert, och P[C i (f)) betecknar sannolikheten för att observera värdet C i (f) för den angivna kontextuella faktorn. beräknas från de frekvenser som observerats i data. För nominella kontextuella faktorer är det enkelt att få frekvenserna. För numeriska värden, vi först diskretize faktorer med hjälp av oövervakad diskretization i 10 lika stora bins och sedan få räkningar per bin. Således approximerar vi sannolikheten att en kandidat f rekommenderas som expert, givet ett observerat värde för kontextuell faktor C i genom att räkna antalet kandidater i ett specifikt intervall som har rekommenderats som en liknande expert, dividerar detta med antalet kandidater i detta intervall. För att undvika delning med noll, tillämpar vi den vanliga Laplace uppskattningen (dvs. vi initierar alla räknas till 1). Vi använder tre mätvärden för att utvärdera uppgiften att hitta liknande experter: Expert Coverage (ExCov), Mean Reciprocal Rank (MRR), och Normalized Discounted Cumulated Gain (NDCG). ExCov är den procentandel av målexperter för vilka en algoritm kunde generera rekommendationer. På grund av databrist kan det hända att en algoritm för att hitta experter inte alltid kan generera en förteckning över liknande experter (t.ex. om målexperten inte valde ut några expertområden). Vid utvärdering av rekommenderade system mäts detta vanligtvis genom täckning (Herlocker, Konstan, Terveen, & Riedl, 2004). MRR definieras som inversen av rangen för det första återvunna relevanta resultatet (i vårt fall, "expert"). Eftersom kommunikationsrådgivare sannolikt inte rekommenderar mer än en alternativ expert om den bästa experten inte är tillgänglig, är det av största vikt att uppnå hög noggrannhet i den högsta rangen. Dessutom visar våra experiment att mänskliga domare uppnår hög enighet om vem de skulle rekommendera som den mest lämpliga liknande experten (diskuteras tidigare). Därför kommer vi att använda MRR som vårt primära mått på prestanda. NDCG är en IR-åtgärd som jämför rangordnade listor och kreditmetoder för deras förmåga att hämta mycket relevanta resultat i topprankning. Vi använder NDCG i vår utvärdering eftersom enkätdeltagarna ombads att betygsätta de rekommenderade experterna på en skala från 1 till 10. Dessa betyg motsvarar 10 grader av relevans, som sedan används som vinstvärden. Vi beräknar NDCG enligt Järvelin och Kekäläinen (2002), som genomförs i trec_eval 8.1. 6 MRR och NDCG beräknas för alla experter, inklusive de för vilka likhetsmetoder resulterade i tomma förteckningar över rekommendationer. Med andra ord bidrar "felande namn" med ett värde på 0 till alla utvärderingsåtgärder. 7 Detta möjliggör en mer meningsfull jämförelse mellan metoder, eftersom alla poäng beräknas baserat på samma uppsättning av testämnen. Vi utvärderar våra kontextuella hämtningsmodeller mot en baslinje bestående av den optimala kombinationen av innehållsbaserade hämtningsmodeller. Significance testing mot denna baslinje utförs med hjälp av en parad, två-tailed Student's t test. Under hela artikeln, använder vi för att indikera körs som avsevärt överträffar baslinjen på 0,05 nivå. Vårt mål är att optimera parameterinställningarna för varje modell för hög MRR (vår primära utvärderingsmått). Som vanligt när mängden tillgängliga träningsdata är liten optimerar och utvärderar vi på samma träningsset. Observera att vårt mål inte är att avgöra om de optimala parameterinställningarna är generella för osynliga datauppsättningar. Snarare strävar vi efter att fastställa bästa möjliga prestanda för varje modell på tillgängliga data för att bestämma den övre gränsen för varje modell på dessa data. Vi jämför sedan dessa optimerade modeller. För ett litet antal parametrar, får vi optimala inställningar med hjälp av parameter svep. I de fall där antalet parametrar att uppskatta är stort (t.ex. >5) är detta tillvägagångssätt opraktiskt, eftersom ett uttömmande sökande efter optimala inställningar är exponentiellt i antalet parametrar. I dessa fall använder vi en enkel stigningsalgoritm för att approximera optimala inställningar i dessa situationer. Vi initierar slumpmässigt parametrarna, sedan varierar varje parameter mellan 0 och 1 med steg om 0,1. Vi väljer det värde för vilket målutvärderingsmåttet maximeras och fortsätter sedan med nästa parameter. Den ordning i vilken parametervärden optimeras är randomiserad, och vi upprepar optimeringsprocessen tills inställningarna har konvergerat. Eftersom denna algoritm är känslig för lokala maxima, upprepar vi denna process 200 gånger och väljer de vikter som resulterar i bästa prestanda. Vi presenterar våra resultat i tre underavdelningar som motsvarar våra tre forskningsfrågor. För det första analyserar vi de enkäter vi använde för att identifiera kontextuella faktorer som spelar en roll i den studerade miljön. Vi rekommenderar vilka av dessa faktorer som bör integreras med innehållsbaserade hämtningsmodeller för att ta itu med uppgiften att hitta liknande experter och utveckla modeller för dessa faktorer. Slutligen presenterar vi resultaten av utvärdering 6 Trec_eval programmet beräknar NDCG med ändringen att rabatten alltid log 2 (rank + 1) så att rank 1 inte är ett specialfall. 7 Detta motsvarar kör trec_eval med omkopplaren −c. 4. Vad är det som händer? Exempel på uttalanden, frekvensfördelning för uttalanden och deltagare som implicit nämner en faktor, och explicita viktklassificeringar (0 = inget inflytande, 3 = starkt inflytande) av nämnda faktorer. Faktorer markerade med * identifierades nyligen på grundval av uppgifterna. Deltagare Mdn Factor (med exempeluttalanden) (N = 354) (N = 6) betyg Kunskapens ämnesområde ("akademisk rekord", "har liten överlappning med den nödvändiga expertisen", "är endast i 44,5% 100% 3,0 en punkt liknande X: s expertis", "topicalally, de är nära", "works in the same area") *Organisationell struktur ("position inom fakulteten", "projektledare för PROJEKT", 24,4% 100% N/A "arbete för samma institut") Förtrogenhet ("känn henne personligen", "Jag känner inte någon av dem") 17,3% 83% 3.0 *Media erfarenhet ("erfarenhet med media", "en av dem är inte lämplig för att prata med media") 5,5% 33% N/A Tillförlitlighet ["minsta överlappning och erfarenhet", "senioritet i området", "är en universitetsprofessor (emeritus)" 3.1% 33% 3.0 Tillgänglighet ["bra alternativ för X och Y som inte arbetar här längre", "han är emeritutus 2,4% 66% 2.5 (även om han fortfarande kommer i en gång i en roll "Vitry of the thment") "Vitry and the I detta avsnitt analyserar vi kommunikationsrådgivarens svar på frågeformuläret. Vi ger en kort översikt över svaren på del 1 (bakgrundsinformation), men fokuserar sedan på delarna 2 och 3 (identifiera kontextuella faktorer) i frågeformuläret. Mängden förfrågningar om sakkunskap som vanligtvis tas emot och den tid som läggs på att besvara dessa förfrågningar varierar kraftigt mellan studiedeltagarna. Hälften av deltagarna får förfrågningar en till flera gånger i veckan. Den andra hälften rapporterade att de fått förfrågningar ungefär en gång i månaden. Att besvara förfrågningarna tar normalt mellan 5 och 15 minuter, men en deltagare rapporterade att besvara komplexa förfrågningar kan ta upp till flera timmar. Deltagarna använder en mängd olika källor för att hålla jämna steg med aktuell forskning inom sin institution. Alla deltagare nämnde direktkontakt med kollegor som informationskälla. Andra källor som nämns är pressmeddelanden, forskares webbplatser, projektbeskrivningar, beskrivningar av forskningsprogram och WebWijs-systemet. För att identifiera kontextuella faktorer som spelar en roll i expertrekommendationerna analyserade vi svaren på de öppna frågorna i del 2 i frågeformuläret, om varför specifika rekommendationsbeslut fattades. Dessa svar transkriberades och analyserades genom innehållsanalys. För det första delades svaren upp i uttalanden som uttryckte ett skäl vardera, vilket resulterade i 254 uttalanden. Dessa kodades självständigt av två av författarna. Kodningen baserades på det kodsystem som utvecklats av Woudstra och Van den Hooff (2008); ytterligare två faktorer, organisationsstruktur och medieerfarenhet identifierades och lades till kodsystemet (diskuterades senare). Interannotator-avtalet var 77,5 %, och det slumpkorrigerade avtalet Cohens var 0,697, vilket tyder på ett betydande avtal (jfr. Landis & Koch, 1977). Konflikter löstes genom diskussioner. Tabell 4 ger en översikt över frekvensfördelningen för de resulterande faktorerna och medianvärdet för varje faktor som mottagits när deltagarna uttryckligen ombads att gradera dessa faktorer. Ämnet kunskap nämndes oftast och nämndes av alla deltagare. Om vi antar att den frekvens med vilken en faktor nämns avser faktorns betydelse, då är ämnet det viktigaste. Andra ofta nämnda faktorer är förtrogenhet, och de nyligen identifierade faktorerna Organisatorisk struktur och Media erfarenhet. Fysisk närhet och Sparar tid nämndes inte av någon av deltagarna. Figur 1 möjliggör en mer detaljerad jämförelse av faktorer till följd av kodning av öppna svar ("implicit ratings") jämfört med de uttryckliga värderingar som samlas in i del 3 i frågeformuläret. Det råder enighet om alla deltagare och alla åtgärder att kunskapsämnet är den viktigaste faktorn, och kännedomen verkar också viktig enligt båda åtgärderna. Faktorer som verkar mindre viktiga enligt båda åtgärderna är Kognitiv ansträngning, Sparar tid, Approachability, och fysisk närhet. Frekvenserna av Organisatorisk struktur och Media erfarenhet kan inte jämföras med explicita betyg, eftersom de endast upptäcktes under analysstadiet. Vissa faktorer visar stora meningsskiljaktigheter i betydelse enligt implicit och explicit bedömning. Den största diskrepansen återfinns i up-to-dateness, som konsekvent uppfattades som ha ett starkt inflytande på expertrekommendationer, men nämndes nästan aldrig som en anledning till ett särskilt expertbeslut. Liknande skillnader finns mellan Tillförlitlighet, Tillgänglighet och Kontakter. Baserat på undersökningsresultaten utvecklar vi rekommendationer om vilka kontextuella faktorer som bör beaktas På grund av de stora skillnaderna mellan implicita och explicita bedömningar av dessa faktorer kan resultaten av utvärderingen av dessa faktorer i ett hämtningsförsök ge insikt i giltigheten hos de två metoder som används för att framkalla faktorer. Att närma sig, Kognitiv ansträngning, Fysisk närhet och Sparar tid verkar inte spela någon större roll i den studerade miljön och diskuteras inte vidare. Alla faktorer kan inte lätt modelleras. Vi diskuterar dessa aspekter för varje faktor; faktorer som kommer att ingå i uppföljningsförsöken markeras med "+" och de som inte kommer att övervägas ytterligare markeras med "−". För enkelhetens skull, för varje kontextuell faktor som tas upp i detta avsnitt, visar vi genomförandet av denna faktor på ett specifikt sätt, med undantag för tillförlitlighet för vilken vi anser både publiceringsprotokoll och position. För de faktorer som är modellerade beskriver vi deras specifika genomföranden C i f. Kom ihåg att vi överväger två typer av modeller: den input-beroende modellen beräknar likhetspoäng mellan expertkandidater och en given kandidat baserat på värdet av en kontextuell faktor C i (f) (jfr. Ekvationer 3-5). Den input-oberoende modellen uppskattar sannolikheten för att en kandidat rekommenderas som en liknande expert, återigen, baserat på värdet av kontextuell faktor C i (f) (jfr. Ekvationer 6 och 7). + Kunskapsämnet tas för att motsvara de innehållsbaserade likhetsåtgärder som presenterades tidigare. Detta tillvägagångssätt representerar experter baserade på a) de dokument som är knutna till dem (DOCS och TERMS) och b) de expertområden som manuellt valts ut av experterna själva (AREAS). Vi utgår från att de manuellt valda etiketterna är de mest representativa för en persons expertis, eftersom de kan betraktas som marksanningsetiketter. Dessutom rapporterade deltagare som deltog i vår användarstudie upprepade gånger att de använt överlappning inom ämnesområden som finns i WebWijs-systemet som grund för sina (topic-baserade) beslut om vem de ska rekommendera som en liknande expert. Vi inkluderar DOCS och TERMS eftersom dessa har använts för att fånga expertkunskap i tidigare arbete. + Organisatorisk struktur kan genomföras genom att man tar hänsyn till medlemskap i arbetsgrupper eller avdelningar. I vår miljö har vi information om den organisatoriska hierarkin ner till nivån av enskilda institutioner för hela universitetet och ner till projektgruppsnivå för en fakultet. Vi kan använda denna information för att filtrera bort experter från vissa fakulteter eller för att kompensera för data gleshet. I vårt nuvarande genomförande använder vi bara den högsta nivån i den tillgängliga organisatoriska hierarkin och betraktar den organisatoriska strukturen som ett nominellt mått: där fakulteten är en sträng, till exempel "FGW" (Faculteit Geesteswetenschappen-Humanities), "FRW" (Faculteit Rechtsgeleerdheid-Legal studier), eller "FEB" (Economie en Bedrijfswetenschappen-Ekonomics and Business studier). En anställd kan vara medlem av flera fakulteter. Således, i en input-beroende modell, denna faktor uttrycker om två medarbetare är en del av samma fakultet; i en input-oberoende modell, det uttrycker hur troligt någon är att rekommenderas som expert, med tanke på att de arbetar i en specifik fakultet. − Förtroendet skulle kunna förverkligas i miljöer där information om sociala nätverk finns tillgänglig, t.ex. e-postmönster eller annan elektronisk kommunikation (diskuteras tidigare). I vår miljö är denna typ av information för närvarande inte tillgänglig. + Information om medieerfarenhet kan hämtas från universitetets medielista (diskuteras tidigare). Dessa media hit räknas representerar en kvantifiering av media erfarenhet och kan till exempel tjäna som expert tidigare. Vi modellerar medieupplevelsen av en expert som summan av alla media poäng en kandidat har samlat: där media y (f) är den totala media utseende poäng expert f för år y. + Tillförlitlighet kan modelleras på olika sätt. Till exempel kan en lång publikationslista, eller positionen inom organisationen, tyda på att en expert är pålitlig. Vi har tillgång till båda genom data som kröp från WebWijs. Eftersom båda informationskällorna är lättillgängliga utvecklar vi två modeller för denna faktor. För det första använder vi akademiska publikationer för att uppskatta tillförlitligheten. I princip innebär en lång publiceringslista att en person har giltiga och trovärdiga kunskaper och kompetenser. Tillförlitlighet mäts sedan som det totala antalet publikationer av en kandidat f : där pub y f är antalet publikationer av expert f för år y. En andra möjlighet att bedöma en experts tillförlitlighet är hans eller hennes befattning inom universitetet eller, mer allmänt, organisationen. En professor kan till exempel vara mer benägen att betraktas som en pålitlig expert av en kommunikationsrådgivare än en doktorand. Denna faktor är modellerad som nominell. Således: där position är en sträng; till exempel, "Professor", "Lecturer", "PhD student." + Uppdatering kan modelleras genom att ge högre vikt åt nyare dokument som förknippas med en expert, t.ex. nyligen publicerade publikationer. En idealisk kandidat har inte bara trovärdig kunskap, utan denna kunskap är också ny. För att mäta detta, använder vi återigen publikationerna av människor, men här, senare publikationer får en högre vikt: där y 0 är innevarande år, och pub y i (f) är antalet publikationer av expert f och år i. Vi modellerar minskningen i påverkan av äldre publikationer med hjälp av en exponentiell viktfunktion med bas  på. Denna parameter kan justeras för att justera hastigheten med vilken effekten av publikationer minskar. I våra experiment ställer vi in 0.7. − Perspektivet uttrycks ofta som en annan vinkel i samma ämne, till exempel rättsligt istället för ekonomiskt. Detta tyder på att titta på den organisatoriska strukturen är ett sätt att förhindra alltför olika perspektiv. Ett annat sätt att modellera denna faktor kan vara att överväga medförfattare, eftersom samverkande forskare kan förväntas ha ett liknande perspektiv på ett ämne. För närvarande har vi inga robusta sätt att uppskatta denna faktor. − Tillgänglighet kan inte modelleras med de data som för närvarande är tillgängliga för oss. Detta kan vara möjligt i system som är utformade för att öka effektiviteten i sociala processer, såsom medvetenhet om medarbetares arbetsbörda (Erickson & Kellogg, 2000). + En experts kontakter kan modelleras av system som har tillgång till information om sociala nätverk. Eftersom vi inte har tillgång till denna typ av data, modellerar vi denna faktor på grundval av medförfattare artiklar och samlade kurser. Vi antar att storleken på samarbetsnätverket är viktig, så detta är vad vi modellerar. Vi betraktar bara antalet medförfattare och kollektörer, dvs. antalet personer med vilka f har samförfattat en publikation eller gemensamt undervisat i en kurs. Formellt: där coauth(f) är antalet distinkta personer med vilka f har medförfattare ett dokument eller colectured en kurs. Sammanfattningsvis modellerar vi sex faktorer, två nominella (C org och C position ), och fyra numeriska (C media, C publikation, C uppdaterad, och C kontakter ). Resultaten av integreringen av dessa kontextuella faktorer med ett innehållsbaserat hämtningssystem ges i nästa avsnitt. Det här avsnittet innehåller resultaten av våra modeller på det tidigare beskrivna hämtningsexperimentet. Vi presenterar resultat för de innehållsbaserade baslinjemodellerna, och sedan för modellerna som integrerar kontextuella faktorer både på ett input-beroende sätt och på ett input-oberoende sätt. För varje modell visar vi resultat för enskilda faktorer och för optimala kombinationer av faktorer. Tabell 5 visar de experimentella resultaten för våra innehållsbaserade körningar: individuell prestanda för de tre individuella likhetsmetoderna DOCS, TERMS och OMRÅDEN (se tabell 3 ), och viktade kombinationer av dessa. Vi bildar två kombinationer: BL-MRR är en baslinjekombination av alla innehållsbaserade metoder med vikter optimerade för MRR, och BL-NDCG är en baslinjekombination optimerad för NDCG, som beskrivits tidigare. Senare jämför vi de kontextuella modellerna mot dessa två baslinjer. Av de tre innehållsbaserade likhetsmetoderna presterar OMRÅDEN bäst både när det gäller MRR och NDCG. Denna metod uppnår en MRR på 0,4, vilket innebär att den identifierar en korrekt expert på Rank 2 till 3, i genomsnitt. NDCG poäng är något högre än 50% av en optimal beställning. Det relativt goda resultatet av OMRÅDEN förväntas, eftersom denna metod använder sig av experternas självförsörjande profiler, som förväntas innehålla rena data som exakt JURNAL AV AMERIKANSKA SAMHÄLLET FÖR INFORMATIONSVETENSKAP OCH TEKNIK 11 DOI: 10.1002/asi TABELL 5. Faktorvikter och hämtningsresultat för innehållsbaserade modeller. De optimala kombinationerna av alla tre innehållsbaserade modellerna utgör baslinjerna för efterföljande experiment (BL-MRR och BL-NDCG). Bästa poängen är i fetstil. Vikter normaliseras till summan av 1. Innehållsvikter
REF visade att många av dessa faktorer kan modelleras.
Contextual Factors for Finding Similar Experts
{'venue': 'J. Assoc. Inf. Sci. Technol.', 'journal': 'J. Assoc. Inf. Sci. Technol.', 'mag_field_of_study': ['Computer Science']}