Närmaste granne (NN) sökning i högdimensionellt utrymme är ett viktigt problem i många tillämpningar. Ur databasperspektivet måste en bra lösning ha två egenskaper: (i) den kan enkelt införlivas i en relationsdatabas, och (ii) dess frågekostnad bör öka sublinjärt med datauppsättningens storlek, oavsett data och frågefördelningar. Lokalt Sensitive Hashing (LSH) är en välkänd metod som uppfyller båda kraven, men dess nuvarande implementeringar medför antingen dyra utrymme och frågekostnader, eller överge sin teoretiska garanti på kvaliteten på frågeresultat. Motiverade av detta förbättrar vi LSH genom att föreslå en åtkomstmetod som kallas Locality-Sensitive B-tree (LSB-tree) för att möjliggöra snabb, exakt, högdimensionell NN-sökning i relationsdatabaser. Kombinationen av flera LSB-träd bildar en LSB-skog som har starka kvalitetsgarantier, men förbättrar dramatiskt effektiviteten i det tidigare LSH-genomförandet med samma garantier. I praktiken är själva LSB-trädet också ett effektivt index som förbrukar linjärt utrymme, Y. Tao och C. Sheng fick stöd av Grants GRF 4161/07, GRF 4173/08, och GRF 4169/09 från HKRGC, och ett direkt bidrag (2050395) Tillstånd att göra digitala eller hårda kopior av delar eller hela detta verk för personligt eller klassrum användning beviljas utan avgift, förutsatt att kopior inte görs eller distribueras för vinst eller kommersiell fördel och att kopior visar detta meddelande på första sidan eller första skärmen av en display tillsammans med den fullständiga citering. Upphovsrätt till delar av detta verk som ägs av andra än ACM måste hedras. Abstraktering med kredit är tillåten. För att kopiera på annat sätt, för att återpublicera, för att posta på servrar, för att omfördela till listor, eller för att använda någon komponent i detta verk i andra verk krävs förhandsgodkännande och/eller avgift. Behörighet kan begäras från publikationsavdelningen., ACM, Inc., 2 Penn Plaza, Suite 701, New York, NY 10121-0701 USA, fax +1 (212) stöder effektiva uppdateringar och ger korrekta frågeresultat. I våra experiment, LSB-tree var snabbare än: (i) iDistans (en berömd teknik för exakt NN sökning) av två storleksordningar, och (ii) MedRank (en nyligen ungefärlig metod med icke-triviala kvalitetsgarantier) av en storleksordning, och under tiden returnerade mycket bättre resultat. Som ett andra steg, vi utökar vår LSB-teknik för att lösa ett annat klassiskt problem, som kallas Closest Pair (CP) sökning, i högdimensionellt utrymme. Den långsiktiga utmaningen för detta problem har varit att uppnå subkvadratisk körtid vid mycket höga dimensioner, vilket misslyckas med de flesta av de befintliga lösningarna. Vi visar att, med hjälp av en LSB-skog, CP sökning kan utföras på (sämsta-fall) tid betydligt lägre än den kvadratiska komplexiteten, men ändå garanterar mycket god kvalitet. I praktiken kan korrekta svar hittas med bara två LSB-träd, vilket ger en betydande minskning av utrymmet och körtiden. I våra experiment, vår teknik var snabbare: (i) än avstånd bläddra (en välkänd metod för att lösa problemet exakt) av flera storleksordningar, och (ii) än D-skifte (ett ungefärligt tillvägagångssätt med teoretiska garantier i låg-dimensionellt utrymme) med en storleksordning, och samtidigt, ger bättre resultat.
Kvalitetsgarantier kan verkställas med flera LSB-träd i kombination, vilket bildar en LSB-skog REF.
Efficient and accurate nearest neighbor and closest pair search in high-dimensional space
{'venue': 'TODS', 'journal': None, 'mag_field_of_study': ['Computer Science']}