Detta papper integrerar tekniker i naturligt språk bearbetning och datorseende för att förbättra igenkänning och beskrivning av enheter och aktiviteter i verkliga videor. Vi föreslår en strategi för att generera textbeskrivningar av videor genom att använda ett faktordiagram för att kombinera visuella upptäckter med språkstatistik. Vi använder toppmoderna visuella igenkänningssystem för att få förtroende för enheter, aktiviteter och scener som finns i videon. Vår faktorgrafmodell kombinerar dessa detektionskonfidenser med probabilistisk kunskap som bryts från textkorpora för att uppskatta det mest sannolika subjektet, verbet, objektet och platsen. Resultat på YouTube-videor visar att vår strategi förbättrar både den gemensamma upptäckten av dessa latenta, olika meningskomponenter och upptäckten av vissa enskilda komponenter jämfört med att använda enbart visionssystemet, samt över en tidigare n-gram språkmodelleringsmetod. Den gemensamma upptäckten gör att vi automatiskt kan generera mer exakta, rikare Sentential beskrivningar av videor med ett brett utbud av möjligt innehåll.
Thomason m.fl. REF föreslog en faktordiagrammodell för att utföra innehållsval genom att integrera visuell och språklig information för att välja den bästa subjekt-verb-object-place beskrivningen av en video.
Integrating Language and Vision to Generate Natural Language Descriptions of Videos in the Wild
{'venue': 'COLING', 'journal': None, 'mag_field_of_study': ['Computer Science']}