Framtida servicerobotar som arbetar i mänskliga miljöer, såsom kök, kommer att ställas inför situationer där de behöver improvisera. Det vanliga verktyget för en given uppgift kanske inte är tillgängligt och roboten måste använda något ersättningsverktyg. Roboten behöver välja ett lämpligt alternativt verktyg från de tillgängliga kandidaterna, och behöver också veta var man kan förstå det, hur man orienterar det och vilken del som ska användas som end-effector. Vi presenterar ett system som tar som indata ett kandidatverktygs punktmoln och vikt, och ger en poäng för hur effektivt verktyget är för en uppgift, och hur man använder det. Vår viktigaste nyhet är att ta en uppgiftsdriven strategi, där uppgiften har en top-down påverkan på hur låg nivå visionsdata tolkas. Detta underlättar typen av "vardagens kreativitet" där ett föremål som en vinflaska kan användas som en rullande pin, eftersom tolkningen av objektet inte är fast i förväg, utan snarare är ett resultat av samspelet mellan bottom-up och top-down tryck vid körtid. Den övre-ned påverkan genomförs genom överföring: förkunskaper om geometriska funktioner som gör ett verktyg bra för en uppgift används för att söka liknande funktioner i ett kandidatverktyg. Förkunskaperna lärs genom att simulera webbmodeller som utför uppgifterna. Vi utvärderar på en uppsättning av femtio hushållsföremål och fem uppgifter. Vi jämför vårt system med det närmaste i litteraturen och visar att vi uppnår betydligt bättre resultat.
Vår visionskomponent REF passar in i former och kan identifiera ett lämpligt ersättningsverktyg, och även ge indikationer om var man kan ta tag i det och hur man orienterar det.
Transfer of Tool Affordance and Manipulation Cues with 3D Vision Data
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Engineering', 'Computer Science']}