Vi tar itu med problemet med korsmodal finkornig hämtning av åtgärder mellan text och video. Tvärmodal hämtning uppnås vanligen genom att man lär sig ett gemensamt inbäddat utrymme, som på ett likgiltigt sätt kan inbädda former. I detta dokument föreslår vi att man berikar inbäddningen genom att lösa upp delar av tal (PoS) i de åtföljande bildtexterna. Vi bygger ett separat multimodalt inbäddningsutrymme för varje PoS-tag. Utgångarna från flera PoS-inbäddningar används sedan som indata till ett integrerat multimodalt utrymme, där vi utför åtgärdshämtning. Alla inbäddningar tränas gemensamt genom en kombination av PoS-aware och PoS-agnostic förluster. Vårt förslag gör det möjligt att lära sig specialiserade inbäddade utrymmen som erbjuder flera vyer över samma inbäddade enheter. Vi rapporterar de första resultaten om finkorniga åtgärder för den storskaliga EPIC-datauppsättningen, i en allmän noll-shot-inställning. Resultat visar fördelen med vår strategi för både video-till-text och text-till-video action hämtning. Vi visar också nyttan av att lösa upp PoS för den allmänna uppgiften att cross-modal video hämtning på MSR-VTT datasetet.
Wray och Al. REF utför finkornig action hämtning genom att lära sig en separat inbäddning för varje PoS innan du kombinerar dessa inbäddningar.
Fine-Grained Action Retrieval Through Multiple Parts-of-Speech Embeddings
{'venue': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'journal': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}