ABSTRACT Maskinöversättning hänvisar till en helt automatiserad process som översätter en användares inmatningstext till ett målspråk. För att förbättra precisionen i maskinöversättning, studier brukar utnyttja inte bara inmatningstexten själv utan också olika bakgrundskunskaper relaterade till texten, såsom visuell information eller förkunskaper. I detta dokument föreslår vi här ett multimodalt neuralt maskinöversättningssystem som använder både texter och deras relaterade bilder för att översätta koreanska bildtexter till engelska. Uppgifterna i experimentet är en uppsättning omärkta bilder som endast innehåller tvåspråkiga bildtexter. För att träna systemet med en övervakad inlärningsmetod föreslår vi en svag märkningsmetod som väljer ett nyckelord från en bildtext med hjälp av funktionsvalsmetoder. Nyckelorden används för att grovt bestämma en bildetikett. Vi introducerar också en förbättrad funktion urvalsmetod med mening klustring för att välja nyckelord som återspeglar egenskaperna hos bilden bildtexter mer exakt. Vi fann att vårt multimodala system uppnår en förbättrad prestanda jämfört med en text-endast neural maskinöversättningssystem (baslinje). Dessutom har de ytterligare bilderna positiva effekter när det gäller att ta itu med frågan om underöversättning, där vissa ord i en källmening felaktigt översätts eller inte översätts alls. INDEX TERMS Människa-datorinteraktion, flerlagers neurala nätverk, naturliga språkbehandling, bildklassificering, multimodal neural maskinöversättning, svag etikett.
Den svagt märkta funktionen urval metod används mening klustring för att bestämma nyckelord som matchar bildens bildtext REF.
Multimodal Neural Machine Translation With Weakly Labeled Images
{'venue': 'IEEE Access', 'journal': 'IEEE Access', 'mag_field_of_study': ['Computer Science']}