Dense videotextning syftar till att generera textbeskrivningar för alla händelser i en otrimmig video. Detta innebär både att upptäcka och beskriva händelser. Därför tar alla tidigare metoder för tät videotextning itu med detta problem genom att bygga två modeller, dvs. Ett förslag till evenemang och en bildmodell för dessa två delproblem. Modellerna tränas antingen separat eller i alternation. Detta förhindrar direkt påverkan av språkbeskrivningen på händelseförslaget, vilket är viktigt för att generera korrekta beskrivningar. För att ta itu med detta problem föreslår vi en end-to-end-transformatormodell för tät videotextning. Enkodaren kodar videon till lämpliga representationer. Förslaget dekoderar från kodning med olika ankare för att bilda förslag video händelse. Bildtextavkodaren använder ett maskeringsnätverk för att begränsa dess uppmärksamhet till förslagshändelsen över kodningsfunktionen. Detta maskeringsnätverk omvandlar händelseförslaget till en differentierad mask, vilket säkerställer samstämmigheten mellan förslaget och bildtexterna under utbildningen. Dessutom använder vår modell en självuppmärksamhetsmekanism, som gör det möjligt att använda effektiv, icke-återkommande struktur vid kodning och leder till prestandaförbättringar. Vi visar effektiviteten i denna end-to-end-modell på ActivityNet Captions och YouCookII-datauppsättningar, där vi uppnådde 10.12 och 6.58
REF ) anta en omformare för åtgärdsförslag och underrubriker samtidigt.
End-to-End Dense Video Captioning with Masked Transformer
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}