I detta utdragna abstrakt beskriver och analyserar vi en strömmande probabilistisk skiss, HYPERMINHASH, för att uppskatta Jaccard index (eller Jaccard likhetskoefficient) över två uppsättningar A och B. HyperMin-Hash kan ses som en kompression av standard MinHash genom att bygga av en HyperLog greve-finish skiss. Med tanke på Jaccard index δ, med hjälp av k hinkar av storlek O(log(l) + log( en) ) (i praktiken, typiskt 2 byte) per uppsättning, HyperMinHash strömmar över A och B och genererar en uppskattning av Jaccard index δ med fel O(1/l + k/δ ). Detta förbättrar på den mest tidigare kända skissen, MinHash, som kräver samma antal lagringsenheter (buckets), men med hjälp av O(log( och A)) bit per skopa. Till exempel, vår nya algoritm gör det möjligt att uppskatta Jaccard index på 0,01 för inställda kardinaliteter i storleksordningen 10 19 med relativ fel på cirka 5% med hjälp av 64KiB minne; den tidigare state-of-the-art MinHash kan bara uppskatta Jaccard index för kardinaliteter på 10 10 med samma minnesförbrukning. Alternativt kan man tänka på HyperMin-Hash som en förstärkning av b-bit MinHash som möjliggör streaming uppdateringar, fackföreningar och kardinalitet uppskattning (och därmed skärningskardinalitet genom Jaccard), medan du använder log extra bitar. • Teori för beräkning → Sketching och provtagning;
För att lösa detta problem, Yu och Weber REF utvecklat en metod, HyperMinHash, som kan ses som en gemensam av HyperLogLog och b-bit MinHash.
HyperMinHash: Jaccard index sketching in LogLog space
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}