k närmaste granne gå (kNN gå), utformad för att hitta k närmaste grannar från en dataset S för varje objekt i en annan dataset R, är en primitiv operation som allmänt antagits av många data mining applikationer. Som en kombination av k närmaste granne fråga och gå operation, kNN gå med är en dyr operation. Med tanke på den ökande volymen av data, är det svårt att utföra en kNN gå på en centraliserad maskin effektivt. I detta dokument undersöker vi hur man utför kNN-anslutning med MapReduce som är ett väl godkänt ramverk för dataintensiva applikationer över kluster av datorer. Kort sagt, mapparna grupperar objekt i grupper. Reducerarna utför kNN gå med på varje grupp av objekt separat. Vi utformar en effektiv kartläggningsmekanism som utnyttjar beskärningsregler för distansfiltrering, och därmed minskar både mellan- och beräkningskostnaderna. För att minska kostnaden föreslår vi två ungefärliga algoritmer för att minimera antalet repliker. Omfattande experiment på vårt interna kluster visar att våra föreslagna metoder är effektiva, robusta och skalbara.
I detta cirkulerar kartarna informationen i olika informationsdatanodes och reduktionsföretagen kombinerar resultatet av KNN gå med i REF.
Efficient Processing of k Nearest Neighbor Joins using MapReduce
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science']}