Motiverade av psykolingvista fynd att ögonens blick är nära kopplad till människans språkproduktion, utvecklade vi ett oövervakat tillvägagångssätt baserat på översättningsmodeller för att automatiskt lära sig kartläggningar mellan ord och objekt på en grafisk display under människans maskinkonversation. De experimentella resultaten visar att användarens ögon blick kan ge användbar information för att fastställa sådana kartläggningar, som har viktiga konsekvenser för att automatiskt förvärva och tolka användarvokabulärer för konversationssystem.
I REF ) utvecklades en översättningsmodell för att associera ord med visuella objekt på en grafisk display.
Automated Vocabulary Acquisition and Interpretation in Multimodal Conversational Systems
{'venue': '45th Annual Meeting of the Association of Computational Linguistics', 'journal': None, 'mag_field_of_study': ['Computer Science']}