Vi vill bygga robotar som är användbara i ostrukturerade verkliga tillämpningar, till exempel att arbeta i hushållet. Grasping i synnerhet är en viktig färdighet på detta område, men det är fortfarande en utmaning. Ett av de viktigaste hindren är att hantera oväntade förändringar eller rörelser i föremål som fångas och kinematiska buller eller andra fel i roboten. I detta dokument föreslås ett tillvägagångssätt för att lära sig en sluten controller för robotiskt grepp som dynamiskt styr greppet till objektet. Vi använder en handledsmonterad sensor för att få djupbilder framför griparen och träna ett konvolutionellt neuralt nätverk för att lära sig en distansfunktion till sanna grepp för att greppa konfigurationer över en bild. Träningssensordata genereras i simulering, en stor fördel jämfört med tidigare arbete som använder riktig robotupplevelse, vilket är kostsamt att få. Trots att vi är utbildade i simulering fungerar vårt arbetssätt bra på riktigt bullriga sensorbilder. Vi jämför vår controller i simulerade och verkliga robotexperiment med en stark baslinje för grepp utgör detektion, och finner att vårt tillvägagångssätt avsevärt överträffar utgångsvärdet i närvaro av kinematiskt buller, perceptuella fel och störningar i objektet under greppet.
I REF genereras sensordata i simulering för att bygga en reaktiv grepppolicy som beräknar överkomlighet baserat på djupbilder.
Learning a visuomotor controller for real world robotic grasping using simulated depth images
{'venue': 'CoRL', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Engineering']}