Vi utnyttjar stora mängder lättillgängliga, synkrona data för att lära oss en djup discriminativa representationer som delas över tre stora naturliga metoder: vision, ljud och språk. Genom att utnyttja över ett år av ljud från video och miljontals meningar parade med bilder, tränar vi gemensamt ett djupt konvolutionsnätverk för anpassat representationsinlärning. Våra experiment tyder på att denna representation är användbar för flera uppgifter, t.ex. korsmodal hämtning eller överföring av klassificeringar mellan olika metoder. Dessutom, även om vårt nätverk endast utbildas med bild + text och bild + ljud par, kan det överföra mellan text och ljud också, en överföring nätverket aldrig observerats under utbildningen. Visualiseringar av vår representation avslöjar många dolda enheter som automatiskt uppstår för att upptäcka begrepp, oberoende av modaliteten.
Aytar m.fl. I REF föreslogs ett djupt konvolutionsnätverk med tremodaliteter, vars indata är bild, text och ljud.
See, Hear, and Read: Deep Aligned Representations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}