Abstrakt. Det har visat sig att insprutning av buller i neurala nätverksvikter under träningsprocessen leder till en bättre generalisering av den resulterande modellen. Bullerinjektion i den distribuerade installationen är en enkel teknik och det är en lovande metod för att förbättra de lokalt utbildade modellerna. Vi undersöker effekterna av bullerinsprutning i de neurala nätverken under en decentraliserad utbildningsprocess. Vi visar dock både teoretiskt och empiriskt att bullerinsprutning inte har någon positiv effekt i förväntan på linjära modeller. Men för icke-linjära neurala nätverk visar vi empiriskt att bullerinsprutning avsevärt förbättrar modellens kvalitet och hjälper till att nå en generaliseringsförmåga hos en lokal modell nära den seriella baslinje.
Adilova, etc. REF visar att bullerinsprutning avsevärt förbättrar modellens kvalitet för icke-linjära neurala nätverk.
Introducing Noise in Decentralized Training of Neural Networks
{'venue': 'ECML PKDD 2018, Workshop DMLE', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}