För att bearbeta data som inte passar in i RAM, konventionell visdom skulle föreslå att använda distribuerade metoder. Den senaste forskningen har dock visat på det virtuella minnets starka potential när det gäller att skala upp grafgrävaralgoritmer på en enda maskin. Vi föreslår att man använder en liknande metod för allmänt maskininlärning. Vi bidrar: (1) vår senaste upptäckt att minneskartläggning också är en genomförbar teknik för att skala upp generella maskininlärningsalgoritmer som logistisk regression och k-medel, när data passar in i eller överstiger RAM (vi testade dataset upp till 190GB); (2) en metod, som kallas M3, som gör det möjligt för befintliga maskininlärningsalgoritmer att arbeta med out-of-core dataset genom minneskartläggning, uppnå en hastighet som är betydligt snabbare än en 4-instance Spark kluster, och jämförbar med en 8-instance kluster.
I artikeln som föreslås i REF att använda allmän maskininlärning metod genom att hitta att minnesmappning är också en genomförbar teknik för att skala upp allmänna maskininlärning algoritmer som gör det möjligt för befintliga maskininlärning algoritmer att arbeta med out-of-core dataset genom minne kartlägga en snabbare hastighet.
M3: Scaling Up Machine Learning via Memory Mapping
{'venue': "SIGMOD '16", 'journal': None, 'mag_field_of_study': ['Computer Science']}