Vi formaliserar problemet med strukturerad förutsägelse som en förstärkning lärande uppgift. Vi definierar först en strukturerad prediktion Markov Decision Process (SP-MDP), en omedelbarion av Markov Decision Processes for Structurald Prediction och visar att lära sig en optimal policy för denna SP-MDP är detsamma som att minimera den empiriska förlusten. Denna koppling mellan den övervakade inlärningsformuleringen av strukturerade förutsägelser och förstärkande lärande (RL) gör att vi kan använda ungefärliga RL-metoder för att lära sig politiken. Den föreslagna modellen gör svaga antaganden både om det strukturerade prediktionsproblemets karaktär och om tillsynsprocessen. Det gör inga antaganden om nedbrytningen av förlustfunktioner, om datakodning, eller om tillgängligheten av optimala policyer för utbildning. Det gör det möjligt för oss att hantera ett stort antal strukturerade förutsägelser problem. Dessutom skalar den väl och kan användas för att lösa både komplexa och storskaliga verkliga problem. Vi beskriver två experimentserier. Den första ger en analys av RL på klassiska sekvensprognoser och jämför vår strategi med toppmoderna SP-algoritmer. Den andra introducerar ett träd omvandlingsproblem där de flesta tidigare modeller misslyckas. Detta är ett komplext fall av det allmänt märkta problemet med trädkartläggning. Vi visar att RL-prospektering är effektiv och leder till lyckade resultat på denna utmanande uppgift. Detta är en tydlig bekräftelse på att RL skulle kunna användas för stora och komplexa strukturerade prognosproblem.
Vårt sätt att lära genom att maximera variationsdjupet är likvärdigt med det förstärkande inlärningsförfarande som används i RAM och är relaterat till arbetet av REF som visade hur förstärkande lärande kan användas för att ta itu med allmänna strukturerade förutsägelseproblem.
Structured prediction with reinforcement learning
{'venue': 'Machine Learning', 'journal': 'Machine Learning', 'mag_field_of_study': ['Computer Science']}