Vi presenterar en modulär strategi för lärandepolitik för navigering över långa planeringshorisonter från språkinmatning. Vår hierarkiska politik fungerar på flera tidsskalor, där den högre nivåns huvudpolitik föreslår att delmål ska verkställas av specialiserade underpolitiker. Vårt val av undermål är kompositionellt och semantiskt, d.v.s. De kan i angiven ordning kombineras i godtyckliga ordningar och antas vara mänskliga tolkningsbara beskrivningar (t.ex. 'Utgångsrum', 'hittat kök', 'hittat kylskåp' etc.). Vi använder imitation inlärning för att varmstarta politik på varje nivå av hierarkin, dramatiskt öka urval effektivitet, följt av förstärkning lärande. Oberoende förstärkning av lärandet på varje hierarkinivå gör det möjligt för underpolitikerna att anpassa sig till konsekvenserna av sina åtgärder och återhämta sig från fel. Efterföljande gemensam hierarkisk utbildning gör det möjligt för masterpolicyn att anpassa sig till underpolitiken. På den utmanande EQA [1]-riktmärket i House3D [2], som kräver att navigera i olika realistiska inomhusmiljöer, överträffar vår strategi tidigare arbete med en betydande marginal, både när det gäller navigering och frågesvar.
REF föreslår en hierarkisk lösning för denna uppgift där varje nivå av hierarkin värms upp självständigt med imitationslärande och förbättras ytterligare med förstärkt inlärning.
Neural Modular Control for Embodied Question Answering
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}