Vi presenterar en variationsmässig approximation till information flaskhalsen av Tishby et al. (1999)................................................................................................ Detta variabla tillvägagångssätt gör att vi kan parameterisera informationsflaskaneck modellen med hjälp av ett neuralt nätverk och utnyttja reparameterization trick för effektiv utbildning. Vi kallar denna metod "Deep Variational Information Bottneck", eller Deep VIB. Vi visar att modeller tränade med VIB-målet överträffar dem som är tränade med andra former av legalisering, i termer av generaliseringsprestanda och robusthet mot motattack.
REF presenterar en variationsmässig approximation till information flaskhalsen så att IB-baserade modeller kan parameteriseras av neurala nätverk.
Deep Variational Information Bottleneck
{'venue': 'Proceedings of the International Conference on Learning Representations (ICLR) 2017', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}