Stochastic Dual Coordinate Descent (DCD) har blivit ett av de mest effektiva sätten att lösa familjen av 2 -regulariserade empiriska riskminimeringsproblem, inklusive linjär SVM, logistisk regression, och många andra. Genomförandet av dicyandiamid är ganska långsamt, men genom att bibehålla primära variabler och samtidigt uppdatera dubbla variabler kan tids komplexiteten hos dicyandiamid minskas avsevärt. En sådan strategi utgör kärnalgoritmen i det allmänt använda LIBLINEAR-paketet. I den här artikeln parallelliserar vi DCD-algoritmerna i LIBLINEAR. I den senaste forskningen har flera synkroniserade parallella DCD algoritmer föreslagits, men de misslyckas med att uppnå god hastighet i den delade minne multi-core inställning. I detta dokument föreslår vi en familj av asynkrona stokastiska algoritmer med dubbla koordinater (PASSCoDe). Varje tråd väljer upprepade gånger en slumpmässig dualvariabel och genomför koordinatuppdateringar med hjälp av de primära variabler som lagras i det delade minnet. Vi analyserar konvergensegenskaperna när olika lås/atomiska mekanismer tillämpas. För genomförande med atomoperationer visar vi linjär konvergens under milda förhållanden. För implementering utan atomisk drift eller låsning presenterar vi den första felanalysen bakåt för PASSCoDe under den multikärniga miljön, vilket visar att den konvergerade lösningen är den exakta lösningen för ett primärt problem med perturbed regularizer. Experimentella resultat visar att våra metoder är mycket snabbare än tidigare parallella koordinatlösare.
Hsieh m.fl. REF föreslog en async-parallell dubbel koordinat nedstigningsmetod för att lösa 2 legaliserade empiriska riskminimeringsproblem.
PASSCoDe: Parallel ASynchronous Stochastic dual Co-ordinate Descent
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}