Ett ramverk presenteras för att upptäcka partiella dubbletter i stora samlingar av skannade böcker med optiska teckenigenkänningsfel. Varje bok i samlingen representeras av den sekvens av ord (i den ordning de förekommer i texten) som endast förekommer en gång i boken. Dessa ord kallas "unika ord" och utgör en liten procentandel av alla ord i en typisk bok. Tillsammans med orderinformationen ger uppsättningen unika ord en kompakt representation som är mycket beskrivande för innehållet och flödet av idéer i boken. Genom att anpassa sekvensen av unika ord från två böcker med hjälp av den längsta gemensamma undersekvensen (LCS) kan man upptäcka om två böcker är dubbletter. Experiment på flera datauppsättningar visar att DUPNIQ är mer exakt än traditionella metoder för dubblering av detektion som t.ex. gungning och är snabb. På en samling av 100K skannade engelska böcker upptäcker DUPNIQ partiella dubbletter i 30 minuter med 350 kärnor och har precision 0,996 och återkalla 0.833 jämfört med bältros med precision 0,992 och återkalla 0,720. Tekniken fungerar även på andra språk och demonstreras för en fransk datauppsättning.
REF hitta partiella dubbletter i samlingar av böcker genom att hitta sekvenser av unika ord och sedan anpassa dessa sekvenser av unika ord.
Partial duplicate detection for large book collections
{'venue': "CIKM '11", 'journal': None, 'mag_field_of_study': ['Computer Science']}