Vad är rätt objektrepresentation för manipulation? Vi vill att robotar visuellt uppfattar scener och lär sig en förståelse av objekten i dem att (i) är uppgiftsagnostiker och kan användas som byggsten för en mängd olika manipulationsuppgifter, (ii) är allmänt tillämplig på både stela och icke-rigida objekt, (iii) drar nytta av de starka tidigare funktioner som 3D vision, och (iv) är helt lärt av själv-supervision. Detta är svårt att uppnå med tidigare metoder: mycket senaste arbetet med att greppa sträcker sig inte till att fånga specifika objekt eller andra uppgifter, medan uppgiftsspecifik inlärning kan kräva många prövningar för att generalisera väl över objektkonfigurationer eller andra uppgifter. I denna artikel presenterar vi Dense Object Nets, som bygger på den senaste utvecklingen inom självövervakad tät deskriptorin learning, som en konsekvent objektrepresentation för visuell förståelse och manipulation. Vi visar att de kan tränas snabbt (ca 20 minuter) för ett brett utbud av tidigare osynliga och potentiellt icke-rigida föremål. Vi presenterar dessutom nya bidrag för att möjliggöra multi-objekt deskriptor lärande, och visar att genom att ändra vår utbildning förfarande, kan vi antingen förvärva deskriptorer som generaliserar mellan klasser av objekt, eller deskriptorer som är skilda för varje objekt instans. Slutligen demonstrerar vi den nya tillämpningen av inlärda täta deskriptorer för robotmanipulering. Vi visar grepp av specifika punkter på ett objekt över potentiellt deformerade objekt konfigurationer, och demonstrera med hjälp av klass allmänna deskriptorer för att överföra specifika grepp över objekt i en klass.
Florence m.fl. REF föreslog täta objektnät, lärde sig täta deskriptorer genom flervisionsrekonstruktion och tillämpade deskriptorerna på manipuleringsuppgifter.
Dense Object Nets: Learning Dense Visual Object Descriptors By and For Robotic Manipulation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Engineering']}