Som en viktig uppgift i Sentiment Analysis, målorienterad Sentiment Classification (TSC) syftar till att identifiera känslor polariteter över varje yttrande mål i en mening. Befintliga metoder för denna uppgift bygger dock i första hand på textinnehållet och ignorerar de andra alltmer populära multimodala datakällorna (t.ex. bilder), som kan öka robustheten hos dessa textbaserade modeller. Motiverad av denna iakttagelse och inspirerad av den nyligen föreslagna BERT-arkitekturen studerar vi målinriktad multimodal Sentiment Classification (TMSC) och föreslår en multimodal BERT-arkitektur. För att modellera intramodalitetsdynamiken använder vi oss först av BERT för att få målkänsliga textrepresentationer. Vi lånar sedan idén från selfattention och utformar en måluppmärksamhetsmekanism för att utföra mål-image matchning för att härleda målkänsliga visuella representationer. För att modellera intermodalitetsdynamiken föreslår vi också att man staplar upp en uppsättning självupptagna lager ovanpå för att fånga multimodala interaktioner. Experimentella resultat visar att vår modell kan överträffa flera mycket konkurrenskraftiga strategier för TSC och TMSC 1.
Med hänvisning till BERT föreslogs en multimodal BERT REF för målinriktad känsloklassificering.
Adapting BERT for Target-Oriented Multimodal Sentiment Classification
{'venue': 'IJCAI', 'journal': None, 'mag_field_of_study': ['Computer Science']}