Abstract-Recently parallella / distribuerade behandlingsmetoder har föreslagits för behandling av k-Nearest Neighbours (kNN) frågor över mycket stora (multidimensionella) dataset som syftar till att säkerställa skalbarhet. Detta uppnås dock vanligtvis på bekostnad av effektiviteten. Med detta dokument erbjuder vi ett nytt tillvägagångssätt som lindrar de prestandaproblem som förknippas med toppmoderna metoder. Kärnan i vårt tillvägagångssätt, som skiljer det från relaterad forskning, vilar på (i) att anta en koordinator-baserad distribuerad processalgoritm, i stället för de som används över data-parallell exekvering motorer (såsom Hadoop/KartaReduce eller Spark), och (ii) på ett sätt att organisera data, att strukturera beräkning, och att indexera lagrade dataset som säkerställer att endast ett mycket litet antal dataobjekt hämtas från den underliggande datalager, kommuniceras över nätverket, och behandlas av koordinatorn för varje kNN fråga. Vår strategi ägnar också särskild uppmärksamhet åt att säkerställa skalbarhet förutom låga frågebehandlingstider. Sammantaget kan KNN frågor behandlas på bara tiotals millisekunder (i motsats till (tiotals) sekunder som krävs av state of the art. Vi har implementerat vårt tillvägagångssätt, med hjälp av en NoSQL DB (HBase) som datalager, och vi jämför det mot toppmoderna: Hadoop-baserade Spatial Hadoop (SHadoop) och Spark-baserade Simba-metoder. Vi använder olika dataset av olika storlekar, visar upp de bidragande prestandafördelarna. Vår strategi överträffar den senaste tekniken, med 2-3 storleksordningar, och konsekvent för datasetstorlekar som sträcker sig från hundratals miljoner till hundratals miljarder datapunkter. Vi visar också att nyckelkomponenten prestanda overheads uppstår under frågebehandling (såsom antalet data som hämtas från datalager, den nödvändiga nätverksbandbredden, och behandlingstiden vid samordnaren) skala mycket väl, vilket säkerställer den övergripande skalbarheten av tillvägagångssättet.
Cahsai m.fl. Ref föreslår ett nytt tillvägagångssätt för att behandla -NN-frågor; detta tillvägagångssätt bygger på en koordinatorbaserad distribuerad frågebehandlingsalgoritm och använder Spark för dataparallellbehandling.
Scaling k-Nearest Neighbours Queries (The Right Way)
{'venue': '2017 IEEE 37th International Conference on Distributed Computing Systems (ICDCS)', 'journal': '2017 IEEE 37th International Conference on Distributed Computing Systems (ICDCS)', 'mag_field_of_study': ['Computer Science']}