I det här brevet tar vi upp multimodal språkförståelse med okonstruerade hämta instruktioner för hushållsrobotar. En typisk hämta instruktion som "Ta mig den gula leksaken från den vita hyllan" kräver att dra slutsatsen användarens avsikt, dvs. vilket objekt (mål) att hämta och varifrån (källa). För att lösa uppgiften föreslår vi en multimodal modell för klassificering av målkällor (MTCM), som förutspår den regionala sannolikheten för mål- och källkandidater på scenen. Till skillnad från andra metoder kan MTCM hantera regionvis klassificering baserat på språkliga och visuella egenskaper. Vi utvärderade vår strategi som överträffade den senaste metoden på en standard datauppsättning. Vi utökade även MTCM med generativa kontrariska nät och möjliggjorde samtidig dataförstärkning och klassificering.
I vårt tidigare arbete REF föreslog vi att både mål- och källkandidater skulle användas för att förutsäga det sannolika målet på ett övervakat sätt.
Understanding Natural Language Instructions for Fetching Daily Objects Using GAN-Based Multimodal Target–Source Classification
{'venue': 'IEEE Robotics and Automation Letters', 'journal': 'IEEE Robotics and Automation Letters', 'mag_field_of_study': ['Computer Science', 'Engineering']}