Modeller baserade på djupkonvolutionella nätverk har dominerat den senaste tidens bildtolkningsuppgifter; vi undersöker om modeller som också är återkommande är effektiva för uppgifter som involverar sekvenser, visuella och annat. Vi beskriver en klass av återkommande konvolutionella arkitekturer som är end-to-end trainingable och lämplig för storskaliga visuella förståelse uppgifter, och demonstrera värdet av dessa modeller för aktivitetsigenkänning, bildtextning, och video beskrivning. I motsats till tidigare modeller som antar en fast visuell representation eller utför enkla tidsmässiga medelvärden för sekventiell bearbetning, är återkommande konvolutionella modeller " dubbelt djupa" på så sätt att de lär sig kompositionsrepresentationer i rum och tid. Att lära sig långsiktiga beroenden är möjligt när icke-linjäritet integreras i nätverksstatsuppdateringar. Differentierbara återkommande modeller är tilltalande genom att de direkt kan kartlägga ingångar med variabel längd (t.ex. videor) till utgångar med variabel längd (t.ex. text i naturligt språk) och kan modellera komplex temporal dynamik; ändå kan de optimeras med backpropagation. Våra återkommande sekvensmodeller är direkt kopplade till moderna visuella konvolutionella nätverksmodeller och kan tränas gemensamt för att lära sig temporal dynamik och konvolutionella perceptuella representationer. Våra resultat visar att sådana modeller har tydliga fördelar jämfört med toppmoderna modeller för igenkänning eller generering som definieras eller optimeras separat.
Till exempel föreslog REF en klass av återkommande långsiktiga modeller som kan tränas gemensamt för att lära sig temporal dynamik och konvolutionella perceptuella representationer, och visade överlägsen prestanda när det gäller igenkänning och beskrivning av bilder och videor.
Long-Term Recurrent Convolutional Networks for Visual Recognition and Description
{'venue': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'journal': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'mag_field_of_study': ['Computer Science', 'Medicine']}