Anpassningen av heterogena sekventiella data (video till text) är ett viktigt och utmanande problem. Standardtekniker för denna uppgift, inklusive Dynamic Time Warping (DTW) och villkorliga slumpmässiga fält (CRF), lider av inneboende nackdelar. Framför allt innebär Markovs antagande att framtida anpassningsbeslut, med tanke på det omedelbara förflutna, är oberoende av ytterligare historia. Skiljedomen mellan likhetsberäkning och beslut om anpassning förhindrar också end-to-end-utbildning. I detta dokument föreslår vi en end-to-end neural arkitektur där anpassningsåtgärder genomförs som flytta data mellan stackar av långsiktiga kortsiktiga minne (LSTM) block. Denna flexibla arkitektur stöder en stor variation av anpassningsuppgifter, inklusive en-till-en, en-till-många, hoppa oöverträffade element, och (med förlängningar) icke-monotonisk anpassning. Omfattande experiment på semisyntetiska och verkliga datauppsättningar visar att vår algoritm överträffar toppmoderna baslinjer.
Av särskild betydelse är NeuMATCH REF, en arkitektur för video-sentence anpassning, där diskreta anpassningsåtgärder genomförs genom att flytta data mellan staplar av Long Short-term Memory (LSTM) block.
A Neural Multi-sequence Alignment TeCHnique (NeuMATCH)
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}