Under språkinhämtningen har spädbarn nytta av visuella signaler för att mala det talade språket. Robotar har på liknande sätt tillgång till ljud- och bildsensorer. Det senaste arbetet har visat att bilder och talade bildtexter kan kartläggas i ett meningsfullt gemensamt utrymme, vilket gör att bilder kan hämtas med tal och vice versa. I denna inställning av bilder parade med o transkriberade talade bildtexter, överväger vi om datorseende system kan användas för att få textetiketter för talet. Konkret använder vi en bild-till-ord multi-märkt visuell klassificering för att tagga bilder med mjuka textetiketter, och sedan träna ett neuralt nätverk för att kartlägga från talet till dessa mjuka mål. Vi visar att det resulterande talsystemet kan förutsäga vilka ord som förekommer i ett uttalande som agerar som en talad bag-of-words klassifier-utan att se något parallellt tal och text. Vi finner att modellen ofta blandar ihop semantiskt besläktade ord, t.ex. "Man" och "person", vilket gör det ännu mer effektivt som en semantisk nyckelord spotter.
Modellen av REF använder en extern visuell tagger för att tagga utbildningsbilder med textetiketter, vilket gör det möjligt för modellen att kartlägga tal till textetiketter (utan att använda transkriptioner).
Visually grounded learning of keyword prediction from untranscribed speech
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}