I många tillämpningar är det önskvärt att endast extrahera relevanta aspekter av data. Ett principfast sätt att göra detta är information flaskhals (IB) metod, där man söker en kod som maximerar information om en "relevans" variabel, Y, medan begränsa informationen kodad om den ursprungliga data, X. Tyvärr är dock IB-metoden beräkningskrävande när data är högdimensionella och/eller icke-gaussiska. Här föreslår vi ett ungefärligt variationssystem för att maximera en lägre gräns på IB-målet, i likhet med variations EM. Med denna metod härleder vi en IB-algoritm för att återställa funktioner som är både relevanta och glesa. Slutligen visar vi hur kärnoriserade versioner av algoritmen kan användas för att ta itu med ett brett spektrum av problem med icke-linjär relation mellan X och Y.
REF ger en lägre gräns till IB-kurvan genom att använda ett ungefärligt variationsschema, jämförbart med variationsförväntningsmaximering.
Relevant sparse codes with variational information bottleneck
{'venue': 'NIPS', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}