Abstrakt. Vi föreslår PeerRank-metoden för peer assessment. Detta bygger ett betyg för en agent baserat på de betyg som föreslås av de utvärderande agenterna. Eftersom kvaliteten på ett agens är ett mått på deras förmåga att gradera korrekt, väger PeerRank-metoden graderna efter graderingens kvalitet. PeerRank-metoden ger också ett incitament för agenter att gradera korrekt. Eftersom betygen på en agent är beroende av betygen hos betygsombuden, och eftersom dessa betyg själva beror på betygen hos andra agenter, definierar vi PeerRank-metoden med en fast punktekvation som liknar PageRank-metoden för rankning av webbsidor. Vi identifierar några formella egenskaper hos PeerRank-metoden (till exempel uppfyller den axiom av enhällighet, ingen dumhet, ingen diskriminering och symmetri), diskutera några exempel, jämföra med relaterade arbete och utvärdera prestanda på vissa syntetiska data. Våra resultat visar på ett betydande löfte, vilket minskar felet i betygsprognoser med en faktor på 2 eller mer i många fall över det naturliga basvärdet för genomsnittliga kollegiala betyg.
PeerRank REF ) bygger på tanken att en agents kvalitet är konstruerad utifrån de kvaliteter som den erhåller från andra agenter, och den kvalitet en agent ger till en annan agent dess viktas av klassificeringsombudets egen grad.
The PeerRank Method for Peer Assessment
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}