I detta dokument föreslås en övervakad inlärningsmetod för att gemensamt utföra ansiktsåtgärdsenhetens lokaliserings- och intensitetsuppskattning. I motsats till tidigare arbeten som försöker lära sig en oövervakad representation av åtgärdsenhetens regioner, föreslår vi att direkt och gemensamt uppskatta alla AU-intensiteter genom värmekarta regression, tillsammans med platsen i ansiktet där de orsakar synliga förändringar. Vårt tillvägagångssätt syftar till att lära sig en pixel-wise regressionsfunktion som returnerar en poäng per AU, vilket indikerar en AU-intensitet på en given rumslig plats. Heatmap regression genererar sedan en bild, eller kanal, per AU, där varje pixel anger motsvarande AU intensitet. För att generera mark-truth värmekartor för ett mål AU, ansikts landmärken först uppskattas, och en 2D Gaussian dras runt de punkter där AU är känd för att orsaka förändringar. Gaussianens amplitud och storlek bestäms av AU:s intensitet. Vi visar att med hjälp av ett enda Hourglass nätverk räcker för att uppnå nya toppmoderna resultat, visar effektiviteten av en sådan enkel strategi. Användningen av värmekarta regression gör det möjligt att lära sig av en delad representation mellan AU utan att behöva förlita sig på latenta representationer, eftersom dessa är implicit lärt från data. Vi validerar den föreslagna metoden för BP4D dataset, visar en blygsam förbättring på senaste, komplexa, tekniker, samt robusthet mot feljustering fel. Kod för testning och modeller kommer att finnas tillgänglig för nedladdning från https://github.com/ESanchezLozano/ Action-Units-Heatmaps.
På grund av tillgången på AU-styrkor, Sanchez et al. REF använde AU-intensiteten för att bestämma amplituden och storleken på en Gaussian distribution så att generera en uppmärksamhet karta för varje AU.
Joint Action Unit localisation and intensity estimation through heatmap regression
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}