Vi studerar generalisering prestanda online lärande algoritmer tränas på prover som kommer från en beroende källa av data. Vi visar att generalisering fel av någon stabil online-algoritm koncentrerar sig runt sin ånger-en lätt beräkningsbar statistik över online-prestanda för algoritmen-när den underliggande ergodic processen är -eller -mixing. Vi visar hög sannolikhet felgränser förutsatt att förlustfunktionen är konvex, och vi fastställer också skarpa konvergensfrekvenser och avvikelsegränser för starkt konvexa förluster och flera linjära förutsägelser problem såsom linjär och logistisk regression, minstskaliga SVM, och öka på beroende data. Dessutom har våra resultat enkla tillämpningar för stokastisk optimering med beroende data, och vår analys kräver endast martingale konvergens argument; vi behöver inte förlita oss på mer kraftfulla statistiska verktyg såsom empirisk processteori.
REF studera generalisering egenskaper online algoritmer i samband med stationära och blandning tidsserier.
The Generalization Ability of Online Algorithms for Dependent Data
{'venue': 'IEEE Transactions on Information Theory', 'journal': 'IEEE Transactions on Information Theory', 'mag_field_of_study': ['Mathematics', 'Computer Science']}