Att döma av den ökande effekten av maskininlärning på storskalig dataanalys under det senaste årtiondet, kan man förvänta sig en betydande ökning av mångfalden av maskininlärningstillämpningar för "stora data" under det kommande årtiondet. Denna spännande nya möjlighet medför dock också många utmaningar. En av dem är skalande slutledning inom och utbildning av grafiska modeller. Typiska sätt att ta itu med denna skalning problem är slutsatser genom ungefärliga meddelande passerar, stokastiska gradienter, och MapReduce, bland annat. Ofta stöter vi på inferens- och utbildningsproblem med symmetrier och uppsägningar i grafstrukturen. Ett framträdande exempel är relationsmodeller som fångar komplexitet. Att utnyttja dessa symmetrier har dock ännu inte övervägts för skalning. I detta dokument visar vi att slutsatser och utbildning verkligen kan dra nytta av att utnyttja symmetrier. Specifikt visar vi att (loopy) trosförökning (BP) kan lyftas. Det vill säga, en modell komprimeras genom att gruppera noder som skickar och tar emot identiska meddelanden så att en modifierad BP som körs på den upplyfta grafen ger samma marginaler som BP på den ursprungliga, men ofta på en bråkdel av tiden. Genom att etablera en länk mellan lyft och radix visar vi att lyft är MapReduce- Learn (2013) 92:91-132 kan. Ändå, i många om inte de flesta situationer utbildning relationella modeller inte kommer att dra nytta av denna (skalbar) lyftning: symmetrier inom modeller lätt bryta eftersom variabler blir korrelerade genom att beroende asymmetriskt på bevis. En tilltalande idé för sådana situationer är att träna och reombera lokala modeller. Detta bryter de långsiktiga beroendena och gör det möjligt att utnyttja lyft inom och över de lokala utbildningsinsatserna. Dessutom banar den naturligtvis väg för de första skalbara lyftträningsmetoderna baserade på stokastiska lutningar, både på nätet och i MapReduced mode. På flera dataset konvergerar online-utbildningen till exempel till samma kvalitetslösning snabbare över en storleksordning, helt enkelt för att den börjar optimera långt innan den har sett hela mega-exempel ens en gång.
REF föreslår en hävd (loopy) trosförökning.
Exploiting symmetries for scaling loopy belief propagation and relational training
{'venue': 'Machine Learning', 'journal': 'Machine Learning', 'mag_field_of_study': ['Computer Science']}