Abstract-Dictionary lärande algoritmer har framgångsrikt använts för både rekonstruerande och diskriminerande uppgifter, där en ingångssignal representeras med en gles linjär kombination av ordbok atomer. Även om dessa metoder till största delen är utvecklade för enmodalitetsscenarier, har nyligen genomförda studier visat fördelarna med fusion på funktionsnivå som grundar sig på den gemensamma glesa representationen av de multimodala inflödena. I detta dokument föreslår vi en multimodal uppgiftsdriven ordbokslärandealgoritm under den gemensamma sparsamhetsbegränsningen (före) för att driva igenom samarbeten mellan flera homogena/ heterogena informationskällor. I denna uppgiftsdrivna formulering lär sig de multimodala ordböckerna samtidigt med sina motsvarande klassificeringar. De resulterande multimodala ordböcker kan generera diskriminerande latenta funktioner (sparse koder) från data som är optimerade för en given uppgift som binär eller multiklass klassificering. Dessutom lägger vi fram en utvidgning av den föreslagna formuleringen med hjälp av en blandad gemensam och oberoende prioritering som underlättar en mer flexibel sammanslagning av villkoren på funktionsnivå. Effektiviteten hos de föreslagna algoritmerna för multimodal klassificering illustreras i tre olika tillämpningar – multimodal ansiktsigenkänning, ansiktsigenkänning med flera vyer och multimodal biometrisk igenkänning. Det visas också att, jämfört med motsvarigheten rekonstruerande-baserade ordlista lärande algoritmer, de uppgiftsdrivna formuleringar är mer beräkningseffektiva i den meningen att de kan utrustas med mer kompakta ordböcker och fortfarande uppnå överlägsen prestanda.
Senare arbete REF formulerar SDL genom en multimodal uppgiftsdriven strategi med hjälp av sparsamhetsmodeller under en gemensam gleshet tidigare.
Multimodal Task-Driven Dictionary Learning for Image Classification
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics', 'Medicine']}