I detta dokument föreslår vi en tvådimensionell uppmärksamhetsbaserad rekursiv autoencoder (BattRAE) för att integrera köer och käll-målinteraktioner på flera nivåer av granularitet i tvåspråkiga uttryck representationer. Vi använder rekursiva autokodare för att generera trädstrukturer av fras med inbäddningar på olika nivåer av granularitet (t.ex., ord, underfraser, fraser). Över dessa inbäddningar på käll- och målsidan, introducerar vi ett bidimensionellt uppmärksamhetsnätverk för att lära sig deras interaktioner kodade i en tvådimensionell uppmärksamhetsmatris, från vilken vi extraherar två mjuka uppmärksamhet viktfördelningar samtidigt. Viktfördelningen gör det möjligt för BattRAE att generera kompositiva fras representationer via konvolution. Baserat på den inlärda fras representationer, använder vi vidare en bilinjär neural modell, tränad via en max-marginal metod, för att mäta tvåspråkig semantisk likhet. För att utvärdera BattRAE:s effektivitet införlivar vi denna semantiska likhet som ytterligare ett inslag i ett toppmodernt SMT-system. Omfattande experiment på NIST kinesiska-engelska testuppsättningar visar att vår modell uppnår en betydande förbättring av upp till 1,82 BLEU-poäng över baslinjen.
Därefter introducerar REF en tvådimensionell uppmärksamhetsbaserad rekursiv autoencoder (BattRAE) modell för att lära sig tvåspråkiga frasen inbäddningar genom att integrera käll-mål-interaktioner på olika nivåer av granularitet med hjälp av uppmärksamhet-baserade modeller.
BattRAE: Bidimensional Attention-Based Recursive Autoencoders for Learning Bilingual Phrase Embeddings
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}