Abstract-Med uppkomsten av big data ålder, frågan om hur man får värdefull kunskap från en datauppsättning effektivt och korrekt har fått allt mer uppmärksamhet från både akademi och industri. Denna artikel presenterar en parallell Random Forest (PRF) algoritm för stora data på Apache Spark plattform. PRF algoritmen är optimerad baserat på en hybrid metod som kombinerar data-parallell och uppgift-parallell optimering. Ur ett perspektiv av data-parallelloptimering utförs en vertikal data-partitioneringsmetod för att minska datakommunikationen på ett effektivt sätt, och en data-multiplexing metod utförs för att göra det möjligt att återanvända träningsdatasetet och minska datavolymen. Ur perspektivet av uppgift-parallelloptimering, utförs en dubbel parallellinflygning i utbildningsprocessen för RF, och en uppgift riktad Acyklisk Graph (DAG) skapas enligt den parallella utbildningsprocessen av PRF och beroendet av Resiliient Distributed Dataset (RDD) objekt. Därefter åberopas olika schemaläggare för uppgifter i DEG. Dessutom, för att förbättra algoritmens noggrannhet för stora, högdimensionella och bullriga data, utför vi en dimensionsreduktion strategi i utbildningsprocessen och en viktad röstningsmetod i prognosprocessen före parallellisering. Omfattande experimentella resultat indikerar PRF-algoritmens överlägsenhet och anmärkningsvärda fördelar jämfört med relevanta algoritmer som genomförts av Spark MLlib och andra studier när det gäller klassificeringens noggrannhet, prestanda och skalbarhet.
En parallell Random Forest-algoritm (PRF) presenterades av Jianguo et al Ref för stordata på Apache Spark-plattformen.
A Parallel Random Forest Algorithm for Big Data in a Spark Cloud Computing Environment
{'venue': 'IEEE Transactions on Parallel and Distributed Systems, 2017, 28(4): 919-933', 'journal': None, 'mag_field_of_study': ['Computer Science']}