Vi föreslår en multimodal ram för djupt lärande som kan överföra den kunskap som erhållits från ett enmodalt neuralt nätverk till ett nätverk med en annan modalitet. Till exempel visar vi att vi kan utnyttja taldata för att finjustera nätverket tränas för videoigenkänning, med tanke på en första uppsättning av audio-video parallella dataset inom samma semantik. Vårt tillvägagångssätt lär oss analoga-bevarande inbäddningar mellan de abstrakta representationer som lärts från varje nätverk, vilket möjliggör semantik-nivå överföring eller rekonstruktion av data mellan olika metoder. Vår metod är därför särskilt användbar när en av metoderna är mer knapp i märkta data än andra metoder. Medan vi främst fokuserar på att tillämpa överföringslärande på den audiovisuella erkännandeuppgiften som en tillämpning av vår strategi, är vår ram flexibel och kan därför arbeta med eventuella multimodala datauppsättningar. I denna lägesrapport visar vi våra preliminära resultat på AV-Letters dataset.
Etiketten överföring modell kan också tillämpas för ljud-video igenkänning uppgifter REF.
Multimodal Transfer Deep Learning for Audio Visual Recognition
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}