Den k-Nearest Grannklassning är en enkel men effektiv allmänt känd metod inom datautvinning. Den faktiska tillämpningen av denna modell i stordatadomänen är inte möjlig på grund av tids- och minnesbegränsningar. Flera distribuerade alternativ baserade på MapReduce har föreslagits för att denna metod ska kunna hantera storskaliga data. Deras prestanda kan dock förbättras ytterligare med nya konstruktioner som passar med ny teknik. I detta arbete ger vi en ny lösning för att utföra en exakt k-nearest granne klassificering baserad på Spark. Vi utnyttjar dess in-minnesoperationer för att klassificera stora mängder osedda fall mot en stor träningsdatauppsättning. Kartan fas beräknar k-nearest grannar i olika träningsdata delar. Efteråt, flera reduktioners processa den definitiva grannar från listan som erhållits i kartfasen. Huvudpunkten i detta förslag ligger i hanteringen av testuppsättningen och håller den i minnet när det är möjligt. Annars är den uppdelad i ett minsta antal bitar, tillämpa en MapReduce per bit, med hjälp av caching färdigheter Spark för att återanvända den tidigare partitionerade utbildning set. I våra experiment studerar vi skillnaderna mellan Hadoop- och Spark-implementationer med dataset upp till 11 miljoner fall, vilket visar den uppskalningsförmåga som det föreslagna tillvägagångssättet har. Som ett resultat av detta arbete finns ett open-source Spark-paket tillgängligt.
Kartläggningsfasen förbrukar en avsevärd tid, särskilt med stora värden på K. Detta arbete förbättras ytterligare genom Ref, där de föreslog en ny KNN baserad på Spark (kNN-IS) som liknar Mapping/Reduction-tekniken men använder flera reduktionsmedel för att påskynda processen; storleken på den datauppsättning som används gick upp till 11 miljoner exempel.
kNN-IS : An Iterative Spark-based design of the k-Nearest Neighbors classifier for big data
{'venue': 'Knowl. Based Syst.', 'journal': 'Knowl. Based Syst.', 'mag_field_of_study': ['Computer Science']}