Vi introducerar Interactive Question Answering (IQA), uppgiften att svara på frågor som kräver en autonom agent för att interagera med en dynamisk visuell miljö. IQA presenterar agenten med en scen och en fråga: "Finns det några äpplen i kylen?" Agenten måste navigera runt scenen, förvärva visuell förståelse av scenelement, interagera med objekt (t.ex. öppna kylskåp) och planera för en rad åtgärder som är beroende av frågan. Populär förstärkning lärande metoder med en enda controller presterar dåligt på IQA på grund av stora och olika tillstånd utrymme. Vi föreslår Hierarchical Interactive Memory Network (HIMN), bestående av en faktoriserad uppsättning regulatorer, som gör det möjligt för systemet att fungera på flera nivåer av temporal abstraktion. För att utvärdera HIMN introducerar vi IQUAD V1, en ny datauppsättning byggd på AI2-THOR [35], en simulerad fotorealistisk miljö av konfigurerbara inomhusscener med interaktiva objekt. IQUAD V1 har 75 000 frågor, var och en tillsammans med en unik scenkonfiguration. Våra experiment visar att vår föreslagna modell överträffar populära single controller baserade metoder på IQUAD V1. För exempel på frågor och resultat, vänligen se vår video: https://youtu.be/pXd3C-1jr98.
REF införde uppgiften Interactive Question Answering som innebär att interagera med objekt i miljön med icke-navigationsåtgärder för att svara på frågor.
IQA: Visual Question Answering in Interactive Environments
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}