Kaffemaskin Bild 1: Vårt mål är att använda scenen före för att förbättra navigeringen i osynliga scener och mot nya objekt. (a) Det finns ingen mugg i synfältet hos agenten, men den troliga platsen för att hitta en mugg är skåpet nära kaffemaskinen. b) Agenten har inte sett en mango tidigare, men det visar att den mest sannolika platsen för att hitta en mango är kylskåpet eftersom liknande objekt som äpple också visas där. De mest sannolika platserna visas med den orange boxen. Hur navigerar människor till objekt i nya scener? Använder vi de semantiska/funktionella priors som vi har byggt under årens lopp för att effektivt söka och navigera? För att till exempel söka efter muggar söker vi i skåpen i närheten av kaffemaskinen och efter frukt provar vi kylskåpet. I detta arbete fokuserar vi på att införliva semantiska tidigare erfarenheter i uppgiften att semantisk navigering. Vi föreslår att man använder Graph Convolutional Networks för att införliva förkunskaperna i en ram för fördjupat lärande. Agenten använder funktionerna från kunskapsgrafen för att förutsäga åtgärderna. För utvärdering använder vi AI2-THOR-ramverket. Våra experiment visar hur semantisk kunskap förbättrar prestandan avsevärt. Ännu viktigare, vi visar förbättring i generalisering till osynliga scener och / eller objekt. Den kompletterande videon finns på följande länk: https://youtu.be/otKjuO805de.
Yang m.fl. REF lärramverk förbättrar semantisk navigering i osynliga scener och mot nya objekt.
Visual Semantic Navigation using Scene Priors
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}