Vi undersöker sambandet mellan dimensionalitet och kommunikationskostnader vid problem med distribuerat lärande. Specifikt studerar vi problemet med att uppskatta medelvärdet av en okänd d dimensional gaussian distribution i den distribuerade inställningen. I detta problem, proverna från den okända fördelningen fördelas mellan m olika maskiner. Målet är att uppskatta medelvärdet  på den optimala minimax-hastigheten samtidigt som man kommunicerar så få bitar som möjligt. Vi visar att i detta sammanhang kommer kommunikationen att kosta linjärt i antal dimensioner, dvs. Man måste ta itu med olika dimensioner individuellt. Genom att tillämpa detta resultat på tidigare lägre gränser för en dimension i den interaktiva inställningen [1] och på våra förbättrade gränser för den samtidiga inställningen, visar vi oss vara nya nedre gränser för  och för de delar av kommunikationen som behövs för att uppnå minimax squared-förlusten, i de interaktiva respektive samtidiga inställningarna. För att komplettera visar vi också ett interaktivt protokoll som uppnår minimax squared förlust med O (md) bitar av kommunikation, vilket förbättrar på det enkla samtidiga protokollet med en logaritmisk faktor. Med tanke på de starka lägre gränserna i den allmänna inställningen inleder vi studien av de distribuerade parameteruppskattningsproblemen med strukturerade parametrar. När parametern utlovas vara s-sparse visar vi ett enkelt tröskelbaserat protokoll som uppnår samma kvadratförlust samtidigt som vi sparar en d/s-faktor för kommunikation. Vi antar att den kompromiss mellan kommunikation och squared förlust som visas av detta protokoll är i huvudsak optimal upp till logaritmisk faktor.
Garg m.fl. Ref undersökte hur kommunikationskostnadsskalorna i parameterdimensionaliteten för distribuerad statistisk uppskattning.
On Communication Cost of Distributed Statistical Estimation and Dimensionality
{'venue': 'NIPS', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}