Många mänskliga aktiviteter innefattar objektmanipuleringar som syftar till att ändra objekttillståndet. Exempel på gemensamma tillståndsändringar är hel/tom flaska, öppen/stängd dörr och fastsatt/avtagbar bil hjul. I detta arbete försöker vi automatiskt upptäcka tillstånd av objekt och tillhörande manipulation åtgärder. Med tanke på en uppsättning videor för en viss uppgift föreslår vi en gemensam modell som lär sig att identifiera objekttillstånd och lokalisera statliga åtgärder. Vår modell är formulerad som en diskriminerande klusterkostnad med begränsningar. Vi antar en konsekvent temporal ordning för förändringar i objekttillstånd och manipulation åtgärder, och införa nya optimeringstekniker för att lära modellparametrar utan ytterligare övervakning. Vi demonstrerar framgångsrik upptäckt av sju manipuleringsåtgärder och motsvarande objekttillstånd på en ny datauppsättning videor som skildrar verkliga objektmanipuleringar. Vi visar att vår gemensamma formulering resulterar i en förbättring av objekt tillstånd upptäckt genom handling erkännande och vice versa.
I REF upptäcks gemensamt tillstånd för objekt och statsmodifierande åtgärder med hjälp av en diskriminerande klusterkostnad.
Joint Discovery of Object States and Manipulation Actions
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}