Gränsande generalisering fel inlärning algoritmer har en lång historia, som ändå inte är tillräckligt för att förklara olika generalisering framgångar inklusive dem med djupt lärande. Två viktiga svårigheter är i) att utnyttja beroendet mellan hypoteserna, ii) att utnyttja beroendet mellan algoritmens input och utdata. Framsteg på den första punkten gjordes med kättingsmetoden, som härrör från Kolmogorovs arbete och används i VC-dimensionen bunden. Mer nyligen gjordes framsteg på den andra punkten med den ömsesidiga informationsmetoden av Russo och Zou '15. Ändå är dessa två metoder för närvarande osammanhängande. I detta dokument introducerar vi en teknik för att kombinera kätting och ömsesidiga informationsmetoder, för att få en generalisering som är både algoritmberoende och som utnyttjar beroendena mellan hypoteserna. Vi ger ett exempel där vårt band avsevärt överträffar både kedjan och de ömsesidiga informationsgränserna. Som en följd, vi strama Dudley ojämlikhet under vetskapen att en lärande algoritm väljer sin utgång från en liten delmängd av hypoteser med hög sannolikhet; ett antagande motiverat av prestanda SGD diskuteras i Zhang et al. Det är 17.
Genom att ytterligare utnyttja strukturen av hypotesen utrymme och beroendet mellan algoritmen input och output, författarna till REF kombinerade kedja och ömsesidig information metoder, och fick en stramare bunden på generalisering fel.
Chaining Mutual Information and Tightening Generalization Bounds
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}