Abstract RRL är ett relationsstärkande inlärningssystem baserat på Q-learning i relations-state-action utrymmen. Det syftar till att göra det möjligt för agenter att lära sig att agera i en miljö som inte har någon naturlig representation som en tuple av konstanter. För relationellt förstärkande lärande måste den inlärningsalgoritm som används för att approximera kartläggningen mellan stat-action par och deras så kallade Q (vanlighet)-värde vara mycket tillförlitlig, och den måste kunna hantera relations representationen av stat-action par. I detta papper undersöker vi användningen av Gaussiska processer för att approximera Q-värden för stat-action par. För att använda Gaussian processer i en relationell inställning föreslår vi grafkärnor som en covarians funktion mellan stat-action par. Standarden förutsägelse mekanism för Gaussian processer kräver en matris inversion som kan bli instabil när kärnan matrisen har låg rang. Dessa instabiliteter kan undvikas genom att använda QR-faktorisering. Detta leder till bättre och stabilare prestanda för algoritmen och en effektivare stegvis uppdateringsmekanism. Experiment som genomförs i block världen och med Tetris spelet visar att Gaussian processer med grafkärnor kan konkurrera med, och ofta förbättra på, regression träd och exempel baserad regression som en generalisering algoritm för RRL.
Författarna till REF föreslår att grafkärnor och gaussianska processer används för relationell förstärkningsinlärning.
Graph kernels and Gaussian processes for relational reinforcement learning
{'venue': 'Machine Learning', 'journal': 'Machine Learning', 'mag_field_of_study': ['Computer Science']}