Den heterogenitetsklyftan mellan olika metoder innebär en stor utmaning för insamlingen av multimedieinformation. Vissa studier formaliserar de tvärmodala hämtningsuppgifterna som ett rankningsproblem och lär sig ett gemensamt multimodalt inbäddningsutrymme för att mäta crossmodalitetslikheten. Tidigare metoder etablerar dock ofta det gemensamma inbäddningsutrymmet baserat på linjära karteringsfunktioner som kanske inte är tillräckligt sofistikerade för att avslöja mer komplicerade intermodala korrespondenser. Dessutom, aktuella studier antar att rankingen är av lika betydelse, och därmed alla ranking används samtidigt, eller ett litet antal ranking väljs slumpmässigt för att träna inbäddning utrymme vid varje iteration. Sådana strategier lider emellertid alltid av outliers såväl som reducerad generaliseringsförmåga på grund av deras brist på insiktsfull förståelse av förfarandet för mänsklig kognition. I detta dokument involverar vi den självgående inlärningsteorin med mångfald i det tvärmodala lärandet för att rangordna och lära oss ett optimalt multimodalt inbäddningsutrymme baserat på icke-linjära kartfunktioner. Denna strategi förbättrar modellens robusthet gentemot outliers och uppnår bättre generalisering genom att träna modellen gradvis från enkel rankning genom olika frågor till mer komplexa. En effektiv alternativ algoritm utnyttjas för att lösa det föreslagna utmanande problemet med snabb konvergens i praktiken. Omfattande experimentella resultat på flera referensdatauppsättningar tyder på att den föreslagna metoden uppnår betydande förbättringar jämfört med toppmoderna data i denna litteratur.
Luo m.fl. REF undersöker användningen av tvärmodalt lärande för att rangordna och lära sig ett optimalt multimodalt inbäddningsutrymme baserat på icke-linjära kartfunktioner.
Simple to Complex Cross-modal Learning to Rank
{'venue': 'Comput. Vis. Image Underst.', 'journal': 'Comput. Vis. Image Underst.', 'mag_field_of_study': ['Mathematics', 'Computer Science']}