Att upptäcka och utnyttja den kausala strukturen i miljön är en avgörande utmaning för intelligenta agenter. Här undersöker vi om kausalt resonemang kan uppstå genom metaförstärkningsinlärning. Vi utbildar ett återkommande nätverk med modellfri förstärkningsutbildning för att lösa en rad problem som vardera innehåller orsaksstruktur. Vi finner att den utbildade agenten kan utföra kausala resonemang i nya situationer för att få belöningar. Agenten kan välja informativa interventioner, dra kausala slutsatser från observationsdata, och göra kontrafaktiska förutsägelser. Även om etablerade formella kausala resonemangsalgoritmer också finns, visar vi i detta dokument att ett sådant resonemang kan uppstå från modellfritt förstärkande lärande, och tyder på att kausala resonemang i komplexa miljöer kan dra nytta av de mer end-to-end inlärningsbaserade metoder som presenteras här. Detta arbete erbjuder också nya strategier för strukturerad prospektering i förstärkande lärande, genom att ge agenter förmåga att utföra-och tolka-experiment.
På senare tid har Ref antagit en meta-lärandestrategi för att dra slutsatser av rent observationella data.
Causal Reasoning from Meta-reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}