Big Model analytics tar itu med utbildning av massiva modeller som går utöver det tillgängliga minnet av en enda datorenhet, t.ex. CPU eller GPU. Den generaliserar Big Data analytics som är inriktad på hur man utbildar minnen inhemska modeller över out-of-minne träningsdata. I detta dokument föreslår vi en lösning i databasen för Big Model analytics. Vi identifierar dot-produkt som den primära verksamheten för utbildning generaliserade linjära modeller och introducerar den första array-relation dot-produkt gå databasoperatör mellan en uppsättning glesa matriser och en tät relation. Detta är en begränsad formulering av den omfattande studerade sparse matris vektor multiplikation (SpMV) kärnan. Den största utmaningen i utformningen av dot-produkt gå operatören är hur man optimalt schemalägga tillgång till den täta relationen baserat på de icke-kontiguösa poster i glesa matriser. Vi bevisar att detta problem är NP-hård och föreslår en praktisk lösning som kännetecknas av två tekniska bidrag-dynamisk batch bearbetning och array omordning. Vi utformar tre heuristiker -LSH, Radix och K-center - för att ordna om och analysera dem noggrant. Vi utför omfattande experiment över syntetiska och verkliga data som bekräftar den minimala overhead operatören ådrar sig när tillräckligt minne finns tillgängligt och den graciösa nedbrytning den lider när minnet blir knapp. Dessutom uppnår dot-produkt-sammanfogning en storleksordningsförkortning av genomförandetiden över alternativa lösningar i databasen.
Qin och Rusu ansåg problemet med att beräkna en punkt produkt mellan en mycket stor, gles matris och en uppsättning täta vektorer i en databas-liknande miljö REF.
Dot-Product Join: An Array-Relation Join Operator for Big Model Analytics
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}