Meduppmärksamhet är mycket effektiva mekanismer för att uppmärksamma tillämpningar som matchar text. Med Attention gör det möjligt att lära sig parvis uppmärksamhet, dvs. lära sig att delta baserat på beräkning av affinitetspoäng på ordnivå mellan två dokument. Problem med textmatchning kan dock finnas på antingen symmetriska eller asymmetriska områden. Till exempel är identifikation av parafraser en symmetrisk uppgift medan klassificering av frågor och svar betraktas som asymmetriska domäner. I detta dokument hävdar vi att co-attention modeller inom asymmetriska domäner kräver olika behandling i motsats till symmetriska domäner, d.v.s. ett begrepp om riktning på ordnivå bör införlivas samtidigt som man lär sig likhetspoäng på ordnivå. Därför är den standard inre produkten i verkliga utrymme som vanligen används i co-attention inte lämplig. Detta papper utnyttjar attraktiva egenskaper hos det komplexa vektorutrymmet och föreslår en co-attention mekanism baserad på den komplexa värdesatta inre produkten (hermitiska produkter). Till skillnad från den verkliga punktprodukten är punktprodukten i komplext utrymme asymmetrisk eftersom den första produkten konjugeras. Förutom modellering och kodning av riktningar förstärker vårt föreslagna tillvägagångssätt också processen för representationsinlärning. Omfattande experiment på fem textmatchande referensdata visar hur effektiv vår strategi är.
I REF föreslås en mekanism för medbestämmande baserad på hermitiska produkter för asymmetriska problem med textmatchning.
Hermitian Co-Attention Networks for Text Matching in Asymmetrical Domains
{'venue': 'IJCAI', 'journal': None, 'mag_field_of_study': ['Computer Science']}