Icke-kontakt videobaserad fysiologisk mätning har många tillämpningar inom hälso-och sjukvård och människa-datorinteraktion. Praktiska tillämpningar kräver mätningar för att vara exakta även i närvaro av stora huvud rotationer. Vi föreslår det första end-to-end-systemet för videobaserad mätning av hjärt- och andningsfrekvens med hjälp av ett djupt konvolutionsnätverk. Systemet har en ny rörelserepresentation baserad på en hudreflektionsmodell och en ny uppmärksamhetsmekanism med hjälp av utseendeinformation för att styra rörelseuppskattningen, som båda möjliggör robust mätning under heterogen belysning och större rörelser. Vår strategi överträffar betydligt alla nuvarande toppmoderna metoder på både RGB och infraröda videodatauppsättningar. Dessutom gör det möjligt att visualisera rumslig-temporella fördelningar av fysiologiska signaler via uppmärksamhetsmekanismen.
DeepPhys REF är den första sådana end-toend metoden för att extrahera hjärta och andningsfrekvens från videor.
DeepPhys: Video-Based Physiological Measurement Using Convolutional Attention Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}