Sammanfattning av denna webbsida: I den här artikeln tar vi upp den automatiska meningsgenereringen av hämtande instruktioner för hushållsrobotar. Typiska hämta kommandon som "ta mig den gula leksaken från den övre delen av den vita hyllan" inkluderar hänvisningar uttryck, dvs. "från den vita övre delen av den vita hyllan". För att lösa denna uppgift föreslår vi ett multimodalt nätverk av kontaktpunkter (Multi-ABN) som genererar naturliga meningar på ett end-to-end sätt. Multi-ABN använder flera bilder av samma fasta scen för att generera meningar som inte är bundna till en viss synvinkel. Detta tillvägagångssätt kombinerar en mekanism för språklig uppmärksamhet med flera mekanismer för uppmärksamhetsgrenar. Vi utvärderade vårt tillvägagångssätt, som överträffar den senaste metoden på ett standardmått. Vår metod gör också att vi kan visualisera anpassningen mellan den språkliga inmatningen och de visuella funktionerna.
Mot denna bakgrund har ett multimodalt nätverk av filialer föreslagits i REF för generering av meningar.
Multimodal Attention Branch Network for Perspective-Free Sentence Generation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}