Storskaliga maskininlärningsalgoritmer (ML) är ofta iterativa, med upprepad lässkyddad dataåtkomst och I/Obound matris-vektor multiplikationer för att konvergera till en optimal modell. Det är viktigt för prestanda att passa in data i single-node eller distribuerat huvudminne. Generella, tunga och lätta kompressionstekniker kämpar för att uppnå både bra kompressionsförhållanden och snabb dekompressionshastighet för att möjliggöra blockvis okomprimerade operationer. Därför inleder vi arbetet med komprimerad linjär algebra (CLA), där lätta databaskompression tekniker tillämpas på matriser och sedan linjär algebra operationer såsom matris-vektorn multiplikation utförs direkt på komprimerade representationer. Vi bidrar med effektiva kolonnkompressionssystem, cachemedvetna operationer och en effektiv provtagningsbaserad komprimeringsalgoritm. Våra experiment visar att CLA uppnår i-minnesoperationer prestanda nära det okomprimerade fallet och bra kompressionsförhållanden som gör att vi kan passa större datauppsättningar i tillgängligt minne. Vi får därmed betydande prestandaförbättringar från end-to-end upp till 26x eller minskade minneskrav.
Det senaste arbetet med komprimerad linjär algebra (CLA) visar att kolonnkompression för matriser (tabeller) kan bidra till att minska filstorlekar för linjär algebra-baserade ML-program i SystemML REF.
Compressed Linear Algebra for Large-Scale Machine Learning
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science']}