Införandet av Microsoft Kinect Sensors har väckt stort intresse för robotvärlden. Medan ursprungligen utvecklats som ett spelgränssnitt, en hög kvalitet djupsensor och överkomligt pris har gjort det till ett populärt val för robotisk perception. Dess aktiva avkänningsstrategi är mycket väl lämpad för att producera robusta och snabba djupkartor för mänsklig pose uppskattning. Men övergången till robotdomänen dök upp under en större uppsättning drifttillstånd som den ursprungligen inte var avsedd för. Vi ser sensorn misslyckas helt på transparenta och speculära ytor som är mycket vanliga för varje dag hushåll objekt. Eftersom dessa objekt är av stort intresse för hemrobotteknik och hjälpmedelsteknik har vi undersökt metoder för att minska och ibland till och med eliminera dessa effekter utan någon modifiering av hårdvaran. I synnerhet kompletterar vi djupberäkningen inom Kinect med en cross-modal stereobana som vi får från skillnadsmatchning mellan den inkluderade IR och RGB-sensorn i Kinect. Vi undersöker hur RGB-kanalerna kan kombineras optimalt för att efterlikna IR-sensorns bildsvar genom ett tidigt fusionssystem av viktade kanaler samt ett sent fusionssystem som beräknar stereo matchar mellan de olika kanalerna självständigt. Vi visar en stark förbättring i tillförlitligheten av djupberäkningen samt förbättrad prestanda på en objektsegmentering uppgift i ett tabell topp scenario.
Denna fråga behandlas i tidigare arbete REF genom att använda en cross-modal stereo metod baserad på inbyggd RGB och IR-sensor som kompletterar Kinect djup uppskattning.
M.: Improving the kinect by cross-modal stereo
{'venue': 'In: British Machine Vision Conf. BMVA', 'journal': None, 'mag_field_of_study': ['Computer Science']}