Abstract-Most action unit (AU) detektionsmetoder använder one-versus-all klassificerare utan att överväga beroenden mellan funktioner eller AU. I detta dokument introducerar vi en gemensam patch och multi-label learning (JPML) ram som modellerar det strukturerade gemensamma beroendet bakom funktioner, AU, och deras samspel. JPML utnyttjar i synnerhet grupps gleshet för att identifiera viktiga ansiktsfläckar och lär sig en multimärkningsklassificering som begränsas av sannolikheten för samtidiga AU:er. För att beskriva sådan sannolikhet, vi härleda två AU relationer, positiv korrelation och negativ konkurrens, genom att statistiskt analysera mer än 350.000 videoramar kommenteras med flera AUs. Såvitt vi vet är detta det första arbetet som gemensamt tar upp patchinlärning och flermärkt lärande för AU-detektion. Dessutom visar vi att JPML kan utvidgas till att känna igen holistiska uttryck genom att lära sig gemensamma och specifika patcher, som ger en mer kompakt representation än standard uttryck igenkänningsmetoder. Vi utvärderar JPML på tre referensdataset CK+, BP4D, och GFT, med hjälp av inom och korsdataset scenarier. I fyra av fem experiment uppnådde JPML de högsta genomsnittliga F1-poängen i jämförelse med baslinje- och alternativa metoder som använder enbart patch-inlärning eller multi-label-inlärning.
Zhao m.fl. REF föreslagna gemensamma patch och multi-label learning (JPML) för AU-detektion med en skala-invariant funktion transform deskriptor nära landmärken.
Joint Patch and Multi-label Learning for Facial Action Unit and Holistic Expression Recognition
{'venue': 'IEEE Transactions on Image Processing', 'journal': 'IEEE Transactions on Image Processing', 'mag_field_of_study': ['Computer Science', 'Medicine']}