Distribuerad stokastisk lutning nedstigning är en viktig subrutin i distribuerat lärande. Ett särskilt intresse är när kunderna är mobila enheter, där två viktiga frågor är kommunikation effektivitet och integritet för kunderna. Flera nya verk har fokuserat på att minska kommunikationskostnaderna eller införa integritetsgarantier, men ingen av de föreslagna kommunikation effektiva metoder är kända för att bevara integriteten och ingen av de kända integritetsmekanismerna är kända för att vara kommunikation effektiv. I detta syfte studerar vi algoritmer som uppnår både kommunikationseffektivitet och differentialintegritet. För d-variabler och n  på d-klienter använder den föreslagna metoden O(log log(nd)) bitar av kommunikation per klient per koordinat och säkerställer ständig integritet. Vi utökar och förbättrar också tidigare analys av Binom-mekanismen som visar att den uppnår nästan samma nytta som Gaussian-mekanismen, samtidigt som den kräver färre representationsbitar, vilket kan vara av oberoende intresse.
Till exempel, för att uppnå både kommunikation effektivitet och differential integritet, Agarwal et al. REF föreslog cpSGD-algoritmen baserad på den randomiserade kvantiseringen och Binomial maskering.
cpSGD: Communication-efficient and differentially-private distributed SGD
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}