Visuell funktion spelar en viktig roll i videon bildtext uppgift. Med tanke på att videoinnehållet huvudsakligen består av aktiviteter av framträdande objekt, har det begränsat rubriken kvalitet nuvarande metoder som bara fokuserar på globala ramfunktioner samtidigt som mindre uppmärksamhet till de framträdande objekt. För att ta itu med detta problem, i detta papper, utformar vi en objekt-medveten funktion för videotextning, betecknad som rörfunktion. För det första, Faster-RCNN används för att extrahera objekt regioner i ramar, och en rörgenerering metod utvecklas för att ansluta regionerna från olika ramar men tillhör samma objekt. Efter det är en kodare-dekoder arkitektur konstruerad för video bildtext generation. Specifikt är kodaren en dubbelriktad LSTM, som används för att fånga den dynamiska informationen i varje rör. Dekodern är en enda L-STM-utökad med en uppmärksamhetsmodell, som gör det möjligt för oss att anpassa oss till de mest korrelerade rören när vi genererar bildtexten. Vi utvärderar vår strategi för två referensdataset: MSVD och Charades. De experimentella resultaten har visat hur effektiv rörfunktionen är i videons bildtextuppgift.
Senare i REF, Zhao et al. utforma en objekt-medveten rörfunktion för videotextning för att möjliggöra uppmärksamhet på framträdande objekt.
Video Captioning with Tube Features
{'venue': 'IJCAI', 'journal': None, 'mag_field_of_study': ['Computer Science']}