I detta dokument redovisas preliminära experiment som syftar till att kontrollera antagandet att semantisk komposition är en allmän process oberoende av den underliggande modaliteten. I synnerhet modellerar vi kompositionaliteten hos ett attribut med ett objekt i den visuella modaliteten som görs i fallet med ett adjektiv med ett substantiv i den språkliga modaliteten. Våra experiment visar att konceptet topologier i de två metoderna delar likheter, resultat som stärker våra antaganden. På senare tid har fält som beräkningslingvistik och datorseende konvergerat till ett gemensamt sätt att fånga och representera språklig och visuell information om atomkoncept, genom vektorrymdsmodeller. Samtidigt har framsteg inom beräkningssemantik lett till effektiva och språkligt inspirerade metoder för att utvidga sådana metoder från enstaka begrepp till godtyckliga språkliga enheter (t.ex. fraser), genom vektorbaserad semantisk sammansättning (Mitchell och Lapata, 2010). Kompositionalitet ska inte bara betraktas som en viktig komponent ur ett språkligt perspektiv, utan också ur ett kognitivt perspektiv och det har gjorts ansträngningar för att validera den som en allmän kognitiv process. I datorseendet har dock kompositionaliteten hittills fått begränsad uppmärksamhet. I detta arbete studerar vi alltså fenomenet visuell kompositionalitet och vi kompletterar begränsad tidigare litteratur som har fokuserat på händelsekompositionalitet (Stöttinger et al., 2012) eller allmän bildstruktur (Socher et al., 2011), genom att studera modeller av attribut-object semantisk komposition. I ett nötskal, vårt arbete består av att lära vektor representationer av attribut-objekt (t.ex., "röd bil", "söt hund" etc.) och föremål (t.ex. bil, hund, lastbil, katt etc.) och genom att använda dessa beräkna representationen av nya objekt med liknande egenskaper ("röd lastbil", "söt katt" etc.). Denna fråga har både teoretisk och tillämpad inverkan. Möjligheten att utveckla en visuell kompositionsmodell av attribut-objekt, å ena sidan, skulle kunna sprida ljus över förvärvandet av sådan förmåga hos människor; hur vi lär oss attribut representation och komponera dem med olika objekt är fortfarande en öppen fråga inom det kognitiva vetenskapssamhället (Mintz och Gleitman, 2002). Å andra sidan kan datorseende system bli generativ och kunna känna igen osynliga attribut-objekt kombinationer, en komponent som är särskilt användbar för objektigenkänning och bildhämtning.
Tien REF titta på adjektiv i den begränsade domänen datorseende.
Coloring Objects: Adjective-Noun Visual Semantic Compositionality
{'venue': 'VL@COLING', 'journal': None, 'mag_field_of_study': ['Computer Science']}