I detta dokument undersöker vi en svagt övervakad ram för upptäckt av föremål. De flesta befintliga ramar fokuserar på att använda statiska bilder för att lära sig objektdetektorer. Men dessa detektorer misslyckas ofta med att generalisera till videor på grund av det befintliga domänskiftet. Därför undersöker vi att lära oss dessa detektorer direkt från tråkiga videor av dagliga aktiviteter. Istället för att använda avgränsande lådor, utforskar vi användningen av handlingsbeskrivningar som övervakning eftersom de är relativt lätta att samla. En vanlig fråga är dock att föremål av intresse som inte är involverade i mänskliga handlingar ofta saknas i globala handlingsbeskrivningar som kallas "missing label". För att ta itu med detta problem föreslår vi en ny tidsdynamisk graf Long Short-Term Memory Network (TD-Graph LSTM). TD-Graph LSTM möjliggör globalt temporalt resonemang genom att konstruera en dynamisk graf som bygger på tidsmässiga korrelationer mellan objektförslag och spänner över hela videon. Den saknade etikettfrågan för varje enskild ram kan därför avsevärt lindras genom att överföra kunskap över korrelerade objekt förslag i hela videon. Omfattande utvärderingar av en storskalig daglig-liv action dataset (d.v.s. Charades) visar överlägsenheten av vår föreslagna metod. Vi släpper också objekt som avgränsar-box annotationer för mer än 5000 ramar i Charades. Vi tror att detta kommenterade data också kan gynna annan forskning om videobaserad objektigenkänning i framtiden.
Temporal dynamisk graf Long ShortTerm Memory network (TD-Graph LSTM) REF använder åtgärdsbeskrivningar som övervakning istället för att använda avgränsande rutor för att få föremål av intresse.
Temporal Dynamic Graph LSTM for Action-Driven Video Object Detection
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}