Abstract-Video beskrivning är den automatiska generationen av naturliga språk meningar som beskriver innehållet i en viss video. Den har tillämpningar i människa-robot interaktion, hjälper synskadade och video textning. Under de senaste åren har forskningen på detta område ökat kraftigt på grund av den aldrig tidigare skådade framgången med djupt lärande i datorseende och bearbetning av naturligt språk. Många metoder, datauppsättningar och utvärderingsmått har föreslagits i litteraturen, vilket innebär att det behövs en omfattande undersökning för att fokusera forskningsinsatserna i denna blomstrande nya riktning. Detta dokument fyller gapet genom att kartlägga den senaste teknikens metoder med fokus på modeller för djupinlärning; jämföra referensdataset när det gäller deras domäner, antal klasser och arkivstorlek; och identifiera för- och nackdelar med olika utvärderingsmått som SPICE, CIDER, ROUGE, BLEU, METEOR och WMD. Klassisk videobeskrivning närmar sig kombinerad ämnes-, objekt- och verbdetektering med mallbaserade språkmodeller för att generera meningar. Utgivningen av stora datauppsättningar visade dock att dessa metoder inte kan hantera mångfalden i okonstruerade öppna domänvideor. Klassiska tillvägagångssätt följdes av en mycket kort era av statistiska metoder som snart ersattes med djupt lärande, den nuvarande tekniken i videobeskrivning. Vår undersökning visar att trots den snabba utvecklingen är videobeskrivningsforskningen fortfarande i sin linda på grund av följande orsaker. Analys av video beskrivning modeller är utmanande eftersom det är svårt att fastställa bidragen, mot noggrannhet eller fel, av de visuella egenskaperna och den antagna språkmodellen i den slutliga beskrivningen. Befintliga datauppsättningar innehåller varken tillräcklig visuell mångfald eller komplicerade språkliga strukturer. Slutligen är de aktuella utvärderingsmåtten inte tillräckliga för att mäta överensstämmelsen mellan maskingenererade beskrivningar och mänskliga beskrivningar. Vi avslutar vår undersökning med att lista lovande framtida forskningsriktningar.
Video Bildtext Video bildtext syftar till att automatiskt generera naturliga språk meningar som beskriver innehållet i en video REF.
Video Description: A Survey of Methods, Datasets and Evaluation Metrics
{'venue': 'ACM Computing Surveys (CSUR) 52(6), 115 (2019)', 'journal': None, 'mag_field_of_study': ['Computer Science']}