Förstärkt lärande (RL) har framgångsrikt använts för att lösa många kontinuerliga kontrolluppgifter. Trots sina imponerande resultat är dock grundläggande frågor om urvalets komplexitet när det gäller kontinuerliga problem fortfarande öppna. Vi studerar prestandan av RL i denna miljö genom att överväga beteendet hos den minsta-Square Temporal Difference (LSTD) estimator på den klassiska Linear Quadratic Regulator (LQR) problem från optimal kontroll. Vi ger den första finita tiden analys av antalet prover som behövs för att uppskatta värdefunktionen för en fast statisk stat-feedback policy till inom ε-relativt fel. I processen för att härleda vårt resultat, ger vi en allmän karakterisering för när det minsta eigenvärdet av den empiriska kovariansmatrisen som bildas längs provbanan för en snabbmixande stokastisk process koncentrerar sig över noll, vilket utökar ett resultat av Koltchinskii och Mendelson [19] i den oberoende kovariates inställningen. Slutligen tillhandahåller vi experimentella bevis som visar att vår analys korrekt fångar det kvalitativa beteendet hos LSTD på flera LQR-fall.
I REF studerade man provtagningseffektiviteten hos tidsskillnaden för inlärning av linjära kvadratiska regulatorer.
Least-Squares Temporal Difference Learning for the Linear Quadratic Regulator
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}