Att automatiskt beskriva en video med naturligt språk betraktas som en grundläggande utmaning i datorseendet. Problemet är dock inte trivialt speciellt när en video innehåller flera händelser för att vara värd att nämnas, som ofta händer i verkliga filmer. En giltig fråga är hur man tidsmässigt lokaliserar och sedan beskriver händelser, som kallas "dense videotextning". I detta dokument presenterar vi en ny ram för tät videotext som förenar lokaliseringen av förslag till timliga händelser och skapandet av meningar i varje förslag, genom att gemensamt utbilda dem i en helhet. För att kombinera dessa två världar integrerar vi en ny design, nämligen beskrivande regression, i en enda detekteringsstruktur för att dra slutsatsen den beskrivande komplexiteten hos varje upptäckt förslag via meningsgenerering. Detta i sin tur justerar de tidsmässiga platserna för varje händelseförslag. Vår modell skiljer sig från befintliga täta videotextningsmetoder eftersom vi föreslår en gemensam och global optimering av detektion och bildtextning, och ramverket utnyttjar unikt en attribut-augmenterad videotextning arkitektur. Omfattande experiment utförs på ActivityNet Captions dataset och vårt ramverk visar tydliga förbättringar jämfört med de senaste teknikerna. Mer anmärkningsvärt, vi får ett nytt rekord: ME-TEOR på 12,96% på ActivityNet Captions officiella testuppsättning. * Detta arbete utfördes på Microsoft Research Asia. Hunden tar frisbee tillbaka till mannen. En man och en hund är utomhus och väntar på sin tur att spela på en inhägnad i grön fält. Mannen och hunden springer på fältet och han kastar frisbee en lång sträcka och hunden springer och hämtar den, sedan lämnar tillbaka den till mannen och de upprepar processen 6 gånger. När de är klara, springer en annan man till dem och ger mannen ett koppel och han kopplar sin hund. Hela tiden finns det människor på åskådarplats som tittar på dem och tar bilder. En man och en hund går ut på ett fält. En man kastar en frisbee och hunden jagar efter den. En man leker frisbee med en hund.
REF-tåg gemensamt om enande av det timliga förslaget om lokalisering och generering av meningar för tät videotextning.
Jointly Localizing and Describing Events for Dense Video Captioning
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}