Bias i att hämta dokument kan direkt påverka tillgången till information i ett digitalt bibliotek. I värsta fall kan systematisk favorisering av en viss typ av dokument göra andra delar av samlingen osynliga för användarna. Denna potentiella partiskhet kan utvärderas genom att mäta återvinningsbarheten för alla dokument i en samling. Tidigare utvärderingar har utförts på TREC-samlingar med hjälp av simulerade frågeuppsättningar. Frågan kvarstår dock hur representativt detta tillvägagångssätt är för mer realistiska miljöer. För att ta itu med denna fråga undersöker vi effektiviteten av återvinningsmått med hjälp av en stor digitaliserad tidning corpus, med två egenskaper som skiljer våra experiment från tidigare studier: (1) jämfört med TREC samlingar, vår samling innehåller buller från OCR bearbetning, historisk stavning och användning av språk; och (2) i stället för simulerade frågor, samlingen kommer med verkliga användare frågeloggar inklusive klickdata. För det första bedömer vi vilken fördomsfullhet som olika IR-modeller har ålagt tidningssamlingen. Vi bedömer retrievability-måttet och bekräftar dess förmåga att fånga retrievability-fördelen i vår installation. För det andra visar vi hur simulerade frågor skiljer sig från verkliga användarfrågor om termfrekvens och prevalens av namngivna enheter, och hur detta påverkar retrievability resultat.
I en manuell inspektion av de 100 vanligaste termerna i frågeuppsättningen vi använde för REF, fann vi att 56 namngavs enheter.
Querylog-based assessment of retrievability bias in a large newspaper corpus
{'venue': '2016 IEEE/ACM Joint Conference on Digital Libraries (JCDL)', 'journal': '2016 IEEE/ACM Joint Conference on Digital Libraries (JCDL)', 'mag_field_of_study': ['Computer Science']}