Sammanfattning En stor idé i strukturerad förutsägelse är att anta att prediktorn beräknar sin utdata genom att hitta maximum av en poängfunktion. Utbildningen av en sådan prediktor kan sedan kastas som problemet med att hitta vikter i poängfunktionen så att resultatet av prediktorn på ingångarna matchar motsvarande strukturerade etiketter på träningssetet. Ett liknande problem studeras i omvänd förstärkning lärande (IRL) där man ges en miljö och en uppsättning banor och problemet är att hitta en belöning funktion så att en agent agerar optimalt med avseende på belöning funktion skulle följa banor som matchar dem i träningssetet. I detta dokument visar vi hur IRL-algoritmer kan tillämpas på strukturerade förutsägelser, särskilt på parserträning. Vi presenterar ett antal nya inkrementella IRL-algoritmer i ett enhetligt ramverk och kartlägger dem för att tolka träningsalgoritmer. Detta gör att vi kan återställa några befintliga parser träningsalgoritmer, samt att få en ny. De resulterande algoritmerna jämförs i termer av deras känslighet för valet av olika parametrar och generaliseringsförmåga på Penn Treebank WSJ corpus.
I vidare bemärkelse kan vår strategi betraktas - som Searn - som en Inverse Förstärkning Lärande strategi där "en ges en miljö och en uppsättning av banor och problemet är att hitta en belöning funktion så att en agent som agerar optimalt med avseende på belöning funktion skulle följa banor som matchar dem i utbildningen uppsättningen " REF ).
Training parsers by inverse reinforcement learning
{'venue': 'Machine Learning', 'journal': 'Machine Learning', 'mag_field_of_study': ['Computer Science']}