Vi introducerar värde iteration nätverk (VIN): en helt differentiable neural nätverk med en "planering modul" inbäddad i. VIN kan lära sig att planera och är lämpliga för att förutsäga resultat som innefattar planeringsbaserade resonemang, såsom policyer för att stärka lärandet. Nyckeln till vårt tillvägagångssätt är en ny differentierad approximation av värde-iteringsalgoritm, som kan representeras som ett konvolutionellt neuralt nätverk, och utbildad end-to-end med hjälp av standard backpropagation. Vi utvärderar VIN-baserade policyer på diskreta och kontinuerliga sökvägar och på en naturligt språkbaserad sökuppgift. Vi visar att genom att lära sig en explicit planeringsberäkning, VIN politik generaliserar bättre till nya, osynliga domäner.
Konceptuellt PI-Net är inspirerad av värde iteration nätverk (VIN) REF, en differentierad nätverksrepresentation av värde iteration algoritm utformad för att träna interna state-transition och belöning modeller end-to-end.
Value Iteration Networks
{'venue': 'Advances in Neural Information Processing Systems 29 pages 2154--2162, 2016', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}