Vi härleder övre gränser på generalisering fel av en lärande algoritm i termer av ömsesidig information mellan dess ingång och utdata. De övre gränserna ger teoretiska riktlinjer för att hitta rätt balans mellan datapassning och generalisering genom att kontrollera input-output ömsesidig information om en inlärningsalgoritm. Resultaten kan också användas för att analysera generalisering förmåga att lära algoritmer under adaptiv sammansättning, och bias-accuracy kompromisser i adaptiv dataanalys. Vårt arbete sträcker sig och leder till icke-triviala förbättringar av de senaste resultaten av Russo och Zou.
Följande lemma från REF ger en övre gräns på generalisering fel med hjälp av ömsesidig information I (S; W ) mellan utbildningsdata som S och utdatahypotesen W.
Information-theoretic analysis of generalization capability of learning algorithms
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}