Abstract-I detta papper, studerar vi det utmanande problemet med att kategorisera videor enligt hög nivå semantik såsom förekomsten av en viss mänsklig handling eller en komplex händelse. Även om omfattande insatser har ägnats under de senaste åren, de flesta befintliga verk kombinerade flera videofunktioner med hjälp av enkla fusionsstrategier och försummade utnyttjandet av inter-klass semantiska relationer. I detta dokument föreslås ett nytt enhetligt ramverk som gemensamt utnyttjar funktionsförhållandena och klassrelationerna för förbättrad kategorisering. Specifikt, dessa två typer av relationer uppskattas och utnyttjas genom strikt införande legaliseringar i inlärningsprocessen av ett djupt neuralt nätverk (DNN). En sådan legaliserad DNN (rDNN) kan effektivt realiseras med hjälp av en GPU-baserad implementation med en prisvärd utbildningskostnad. Genom att beväpna DNN med bättre kapacitet att utnyttja både funktionen och klassrelationerna är den föreslagna rDNN mer lämplig för modellering av videosemantik. Med omfattande experimentella utvärderingar visar vi att rDNN producerar överlägsen prestanda över flera toppmoderna metoder. På de välkända riktmärkena Hollywood2 och Columbia Consumer Video får vi mycket konkurrenskraftiga resultat: 66,9% respektive 73,5% i termer av genomsnittlig genomsnittlig precision. Dessutom, för att väsentligt utvärdera vår rDNN och stimulera framtida forskning om storskalig video kategorisering, samlar vi in och släpper en ny benchmarking dataset, kallad FCVID, som innehåller 91.223 Internet-videor och 239 manuellt kommenterade kategorier.
En legalisering för funktion/klassrelationer REF använder både regulariseringarna för att träna fusionslagren; varje regularisering utforskar både inter-feature och inter-class relationer och ger ett förbättrat igenkänningsresultat.
Exploiting Feature and Class Relationships in Video Categorization with Regularized Deep Neural Networks
{'venue': 'IEEE TPAMI 40.2 (2018): 352-364', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Medicine']}