Vi inför en modell för dubbelriktad hämtning av bilder och meningar genom en multimodal inbäddning av visuella och naturliga språkdata. Till skillnad från tidigare modeller som direkt kartlägger bilder eller meningar i ett gemensamt inbäddat utrymme, arbetar vår modell på en finare nivå och bäddar in fragment av bilder (objekt) och fragment av meningar (typade beroende trädrelationer) i ett gemensamt utrymme. Förutom ett rangordnat mål som setts i tidigare arbete, gör detta att vi kan lägga till ett nytt splittrat anpassningsmål som lär sig att direkt associera dessa fragment över olika former. Omfattande experimentell utvärdering visar att resonemang på både den globala nivån av bilder och meningar och den finare nivån av deras respektive fragment avsevärt förbättrar prestandan på bild-sentence hämtning uppgifter. Dessutom ger vår modell tolkningsbara förutsägelser eftersom den resulterande intermodala fragmentanpassningen är explicit.
Karpati m.fl. REF använde lokal anpassning för att bädda in fragment av bilder och meningar i ett gemensamt utrymme.
Deep Fragment Embeddings for Bidirectional Image Sentence Mapping
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}