Vi definierar relevant information i en signal x X som den information som denna signal ger om en annan signal y Y. Exempel är den information som ansikte bilder ger om namnen på de personer som porträtteras, eller den information som tal ljud ger om de ord som talas. Förstå signalen x kräver mer än bara förutsäga y, det kräver också att ange vilka funktioner i X spelar en roll i förutsägelsen. Vi formaliserar detta problem som att hitta en kort kod för X som bevarar maximal information om Y. Det vill säga, vi pressar den information som X ger om Y genom en "bottleneck" som bildas av en begränsad uppsättning kodord X. Detta begränsade optimeringsproblem kan ses som en generalisering av hastighetsförvrängning teori där distorsionsmåttet d(x,x) framträder från den gemensamma statistiken av X och Y. Detta tillvägagångssätt ger en exakt uppsättning själv konsekventa ekvationer för kodningsreglerna X →X ochX → Y. Lösningar till dessa ekvationer kan hittas med en konvergent omvärderingsmetod som generaliserar Blahut-Arimoto algoritmen. Vår variationsprincip ger en förvånansvärt rik ram för att diskutera en mängd olika problem i signalbehandling och lärande, vilket kommer att beskrivas i detalj på annat håll.
Tishby m.fl. REF studerade problemet med att hitta en kort kod för en signal (variabel) som bevarade maximal information om en annan signal (variabel).
The information bottleneck method
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics', 'Physics']}