Spatio-temporala relationer mellan ansiktsaction enheter (AU) förmedlar betydande information för AU upptäckt men har inte utnyttjas grundligt. De viktigaste orsakerna är den begränsade kapaciteten för nuvarande AU-detektion fungerar samtidigt lärande rumsliga och tidsmässiga relationer, och bristen på exakt lokaliseringsinformation för AU-funktionsinlärning. För att ta itu med dessa begränsningar, föreslår vi en ny spatio-temporal relation och uppmärksamhet lärande ram för AU upptäckt. Specifikt introducerar vi en spatiotemporal graf convolutional nätverk för att fånga både rumsliga och temporal relationer från dynamiska AU, där AU relationer formuleras som en spatio-temporal graf med adaptivt inlärd i stället för för fördefinierade kantvikter. Dessutom kräver inlärning av spatio-temporala relationer mellan AU-enheter individuella AU-funktioner. Med tanke på AU:s dynamik och form oegentlighet föreslår vi en metod för uppmärksamhetsreglering för att på ett anpassningsbart sätt lära sig regional uppmärksamhet som fångar mycket relevanta regioner och undertrycker irrelevanta regioner för att ta fram en komplett funktion för varje AU. Omfattande experiment visar att vårt tillvägagångssätt uppnår betydande förbättringar jämfört med de senaste AU-detektionsmetoderna på BP4D och särskilt DIFA-riktmärken.
Shao m.fl. REF föreslog rumslig-temporell relation och uppmärksamhet lärande för Facial Action Unit Detection (STRAL).
Spatio-Temporal Relation and Attention Learning for Facial Action Unit Detection
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}