Fotoplethysmografi (PPG) är en teknik för att mäta variationen i absorptionen av ljus genom mänsklig hud, som först introducerades av Hertzman 1937 [1]. Experimentet bestod i att placera ett finger mellan en fotoelektrisk cell och en ljuskälla. Därefter har PPG allmänt använts för pulsmätningar eftersom det är lätt att använda, billig och icke-invasiv. Ännu mer icke-invasiv är tekniken för fjärrfotoplethysmografi, hädanefter kallas rPPG, som syftar till att mäta samma parametrar som PPG på distans, dvs.. utan någon kontakt. Bakgrund: Fjärrfotoplethysmografi (rPPG) har varit i framkant nyligen för att mäta pulsfrekvenser från live eller inspelade videor. Den finner fördelar i scenarier som kräver fjärrövervakning, t.ex. medicin och fitness, där kontaktbaserad övervakning är begränsande och tungrodd. Blodvolympulsen, definierad som pulserande flöde av arteriellt blod, ger upphov till periodiska förändringar i hudfärgen som sedan kvantifieras för att uppskatta en tidssignal. Denna temporal signal kan analyseras med hjälp av olika metoder för att extrahera den representativa hjärtsignalen. Vi presenterar en ny metod för mätning av rPPG-signaler med hjälp av begränsad oberoende komponentanalys (cICA). Vi införlivar en förhandsinformation i CICA-algoritmen för att hjälpa till med utvinningen av den mest framträdande RPPG-signalen. Denna a priori information genomförs med hjälp av två begränsningar: för det första, baserat på periodicitet med autokorrelering, och för det andra, en chrominance-baserad begränsning utnyttjar de fysiska egenskaperna hos huden. Vår metod visade förbättrade prestationer över traditionella metoder för separation av blindkällor som ICA och krominance-baserade metoder med genomsnittliga absoluta fel på 0,62 slag per minut (BPM) och 3,14 BPM för de två datauppsättningarna i vår interna videodatabas UBFC-RPPG och 4,69 BPM för den offentliga MMSE-HR-datauppsättningen. Dess prestanda var också bättre i jämförelse med andra toppmoderna metoder när det gäller noggrannhet och robusthet. Vår UBFC-RPPG-databas görs också allmänt tillgänglig och är särskilt inriktad på att testa rPPG-mätningar. Nyckelord: Fjärrfotoplethysmografi, Konstruerad oberoende komponentanalys, semiblind källseparation, Periodicitetsbegränsning, Chrominance restrikt Open Access © The Author(s) 2018. Denna artikel distribueras enligt villkoren i Creative Commons Atttribution 4.0 International License (http://creativecommons.org/licenses/by/4.0/), som tillåter obegränsad användning, distribution och reproduktion i alla medier, förutsatt att du ger lämplig kredit till den ursprungliga upphovsmannen och källan, ge en länk till Creative Commons licens, och ange om ändringar gjordes. Undantaget från Creative Commons Public Domain Dedication (http://creativecommons.org/publicdomain/noll/1.0/) gäller för de uppgifter som görs tillgängliga i denna artikel, om inte annat anges. Macwan m.fl. BioMed Eng OnLine (2018) 17:22 https://doi.org/10.1186/s12938-018-0450-3 BioMedical Engineering OnLine Page 2 of 22 Macwan et al. BioMed Eng OnLine (2018) 17:22 Verkrussysse et al. [2] visade att fjärrutdragning av PPG-signalen kunde utföras med hjälp av en enkel kamera på konsumentnivå. Deras arbete postulerade att G-kanalen av RGB temporal spår innehöll den mest framträdande fotoplethysmographic signalen. Dessa RGB temporal spår erhölls genom att kvantifiera ram-wise hud pixel data, till exempel genom rumsliga medelvärde, och sedan concatenating dem. Möjligheten för rPPG i ett medicinskt scenario, för patienter på den neonatala intensivvårdsenheten, har också undersökts [3]. De bekräftade förmågan hos rPPG att få en signal stark nog att extrahera hjärtfrekvensen hos alla spädbarnspatienter, mätt från manuellt utvalda områden av intresse (ROI). Ett av paradigmerna i pågående forskning är centrerad kring att använda enkla webbkameror för att extrahera rena rPPG-signaler med hjälp av teknik för separation med blind källkod (BSS). Independent Component Analysis (ICA), en mycket vanlig BSS algoritm har använts i flera verk [5] [6] [7]. ICA är en teknik som används för att bryta ned en multivariatsignal i de ingående signalerna under antagandet att ingångssignalerna är okorrelerade [8]. I detta sammanhang kan rPPG-signalextraktion formuleras som ett signalseparationsproblem där den periodiska hjärtpulsen, manifesterad som minimala kromatiska variationer i hudfärgen, blandas linjärt i de temporalspår som erhålls från videodata från kameror. Låta s = (s 1, s 2,..., s n ) T vara tiden varierande färg spår från n kanaler, erhålls genom linjär blandning av m oberoende källsignaler betecknad som c = (c 1, c 2,..., c m ) T. Den linjära blandningsprocessen uttrycks sedan som s = Ac, där den linjära minneslösa blandning av kanalerna representeras av matrisen A n×m. ICA syftar till att få den linjära unmixing matris W m×n för att återvinna alla oberoende komponenter med minsta kunskap om A och c. De separerade komponenterna y = (y 1, y 2,..., y m ) T, erhålls genom y = Wx [9]. Denna linjära formulering av ICA lider av två ofrånkomliga tvetydigheter [10, 11]. För det första kan de oberoende komponenterna inte erhållas i en deterministisk ordning. Samma oberoende komponenter kan erhållas genom en annan permutation av kolumnerna i W. För det andra kan de oberoende komponenterna inte erhållas till exakt amplitud och tecken. Dessutom, när det gäller uppgiften för rPPG-signalmätning, är arten av den erforderliga komponenten inte helt okänd. Det vill säga, vi är inte helt blinda i det här fallet. Förutom scenarier som har periodiska rörelser, som fitness-baserade applikationer, är det uppenbart att den mest periodiska signalen, linjärt blandad med RGB temporal spår, måste motsvara hjärtpulsen. Dessutom kräver vi bara en komponent, viz., rPPG pulssignal, som förenklar optimeringsprocessen och ändrar viktningsmatrisen från W m×n till vektorn w m×1. Detta tillstånd att extrahera en enda komponent är inte ovanligt och uppfattas i olika biomedicinska scenarier. Simulationsprogrammet On-Off för ett fMRI-experiment [9] är ett sådant exempel. Till följd av detta kan införandet av sådan kunskap på förhand i algoritmen för komponentextrahering bidra till att lindra frågan om odeterminacy. För att inspektera detta införlivande av en förhandsinformation, utförde vi analys av ICA viktningsvektorer som extraherar den bästa komponenten. Vi använde en utmanande video för denna analys där ICA misslyckas med att extrahera den bästa rPPG-signalen kontinuerligt som syns i de första 30 s av Fig. Detta beslut träder i kraft dagen efter det att det har offentliggjorts i Europeiska unionens officiella tidning. De vikter som extraheras med hjälp av den cICA-algoritm som föreslås senare i detta dokument visas också i bild. 1c för jämförelse. Med erkännande av förmågan hos cICA-algoritmen att extrahera den svårare rPPG-signalen bättre än ICA, skulle vi vilja betona den senare delen av videon från 30-talet där ICA kan extrahera rPPG-signalen Page 3 av 22 Macwan et al. BioMed Eng OnLine (2018) 17:22 framgångsrikt. Det framgår tydligt av figuren att ICA vikter, även om extrahera rPPG-signalen korrekt, är benägna att abrupta förändringar, som ses runt 50 s märke. Dessutom tyder det faktum att rPPG-utvinningen är framgångsrik även med dessa abrupt föränderliga vikter på att det finns flera lösningar. Det är här som ICA:s blindhet är uppenbar, dvs. En given rPPG-signal kan extraheras med hjälp av olika vikter. Denna brist på en unik lösning, tillagd av problemet med odeterminitet i skala och permutation av viktningsmatrisen, gör ICA vikter uppskattningen till ett illvilligt problem. Därför är förstärkning av ICA-algoritmen med begränsningar på ett systematiskt och flexibelt sätt för att rama in en begränsad oberoende komponentanalysalgoritm (cica) en lovande åtgärd. I detta dokument presenterar vi formuleringen av denna cICA algoritm för att begränsa lösningsutrymmet för att extrahera rPPG-signalen mer enhetligt även för videor med utmanande villkor med avseende på ljus och rörelsevariabilitet. Vi föreslår särskilt att ICA-formuleringen förbättras genom att göra tre ändringar. För det första, eftersom vi bara behöver en komponent, problemet med komponentseparation blir problemet med komponentextraktion. För det andra är vi inte helt blinda för karaktären på den nödvändiga rPPG-signalen, som är kvasiperiodisk. Att lägga till en förhandsinformation om denna kvasiperiod bidrar till att begränsa lösningsutrymmet samtidigt som vi bibehåller vår riktning mot vikterna för bästa rPPG-signal. CICA algoritmen undviker tvetydigheter i ICA genom att direkt konvergera till den bästa oberoende komponenten, syftar till att eliminera problemet med flera optima. Slutligen innehåller vi en förhandsinformation om hudens biofysiska egenskaper, med hjälp av begränsningar baserade på dess ton, för att styra optimeringen i riktning mot att välja rätt blodvolym puls. Så vitt vi vet, införlivandet av begränsningar baserade på periodicitet et al. BioMed Eng OnLine (2018) 17:22 och hudens fysikaliska egenskaper inom en optimeringsram, och effekten av deras kombination på kvaliteten på rPPG-signalen, har ännu inte prövats i litteraturen. En sammanfattning av det relaterade arbetet ges i avsnittet "Föregående arbete" följt av formuleringen av periodicitetsmåttet och krominansbegränsningarna i avsnittet "Föreslagen metod". I avsnittet "Resultat och diskussion" validerar vi vår algoritm mot vår interna databas UBFC-RPPG som består av två datauppsättningar på 9 respektive 46 videor. Denna databas kommer att göras allmänt tillgänglig tillsammans med den grundläggande sanningen. Såvitt vi vet är detta den första allmänt tillgängliga datauppsättningen som fokuserar på tillämpningen av rPPG-analys. En av pionjärerna arbetar som använde ICA för rPPG mätningar som består av att använda RGB temporal spår från en enkel webbkamera för att extrahera hjärtpulsen, som trots att bevisa den grundläggande idén, inte var särskilt robust mot rörelse artefakter [2]. Fördelen med ICA för rPPG-mätningar över huvudkomponenterna analys (PCA), autokorrelering och korskorrelering undersöktes också i [12]. McDuff m.fl. ytterligare undersökte användningen av fler färgkanaler med en fem band (RGBCO) kamera och postulerade att bättre rPPG-signaler erhölls med GCO-kanaler snarare än traditionella RGB-kanaler [5]. I ett annat verk, Wang et al. utfört ICA på pixelbaserade rPPG-sensorer, med hjälp av rörelsekompenserad pixel-till-pixelpulsextraktion baserad på optiska flödesvektorer, rumslig beskärning och tidsfiltrering för att erhålla en robust pulssignal [13]. I motsats till metoderna för separation med blindkällan, De Haan et al. har utnyttjat ljusets inverkan på människohuden på grund av dess unika fysiska egenskaper genom att införa kromansbaserade metoder [4]. Chrominance (CHROM) signaler genereras från RGB spår med hjälp av en hud-tone standardiserade linjär kombination kompatibel med olika hudfärger. De kromosombaserade metoderna utgår från att det ljus som reflekteras från huden i allmänhet upptar liknande koordinater i RGB-utrymmet under vit belysning. Denna riktning av standard hudtonen beräknades experimentellt med hjälp av deras interna databas. De avancerade vidare på sin kromans baserade metoder som bevisar att de olika absorptionsspektra av arteriellt blod manifesterar sig längs en specifik vektor i en normaliserad RGB utrymme, kallas blodvolym puls vektor [14]. Nyligen införde de en matematisk modell som innehåller relevanta optiska och fysiologiska egenskaper hos hudreflexion med hjälp av vilken de föreslog en ny algoritm baserad på PlaneOrthogonal-to-Skin (POS) som är ett plan orthogonal till hudtonen i den temporalt normaliserade RGB utrymme, lämplig för rPPG pulsextraktion [15]. En annan klass av metoder fokuserar på smarta val av ROI paradigm. Feng et al. (Feng m.fl.) föreslå att förbättra den extraherade rPPG-signalen genom att utföra K-means kluster på en funktion utrymme modellerad för att välja huden ROI som motsvarar bra rPPG-signaler [16]. Nyligen, Bobbia et al. Använda timliga superpixlar, motsvarande strukturellt och rumsligt sammanhängande regioner, för att extrahera pulssignaler från kandidater som sedan slogs samman 1 https://sites.google.com/view/ybenezeth/ubfcrppg. Sida 5 av 22 Macwan et al. BioMed Eng OnLine (2018) 17:22 medelvärde, viktat med superpixelmässigt pulsatilitetsmått, in i en rPPG-signal [17]. I ett liknande arbete, Kumar et al. föreslog en automatisk vägningsmetod för olika spårade regioner för att konstruera rPPG-signalen baserad på maximal kvotmångfald [18], där vikterna beror på blodgenomblödningen och tillbudsljusintensiteten i regionen [19]. Rörelse- och belysningsstörningar är en viktig fråga inom rPPG-mätningar och är ett aktivt forskningsområde. Löjtnant m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m för m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m. Använda ansiktsspårning och normaliserade adaptiva filtreringsmetoder för minsta genomsnittliga kvadrat för att kompensera för variationer i belysningen. De utför också icke-rigid rörelse eliminering genom att kasta temporal segment av signalen med hög standard avvikelse från signalmedelvärdet [20]. Nyligen, Butler et al. har bedömt effekten av topologin och optiska variationer av mänsklig hud i förhållande till horisontella rörelser av objektet och visat att, i närvaro av rörelse, kvaliteten på rPPG-signalen bestäms av egenskaperna hos det valda hudområdet [21]. Tasli m.fl. har använt ansiktsmarkeringar baserade på aktiva utseende modeller [22] för att erhålla en rörelse kompenserad temporal färgsignal, där fri huvudrörelse av försökspersonen tilläts [23]. Nyligen, Wang et al. har försökt förbättra rPPG-mätningarna under träning, från personer som springer på löpband. Deras föreslagna metod kallas Sub-band rPPG, dämpar olika distorsion-frekvenser med hjälp av oberoende kombinationer av färgkanaler, baserat på tanken att graden av frihet för brusreducering kan ökas genom att bryta ner n-våglängd kamerasignaler i flera ortogonala frekvensband. I ett annat verk utnyttjar de den begränsade variationen av mänsklig relativ pulsatil amplitud för att utforma en billig filtreringsmetod som kallas amplitud selektiv filtrering. Den spektrala amplituden av t.ex. R-kanalen används för att välja frekvenskomponenterna i RGB-kanalerna inuti det förmodade "karakteristiska pulsatila amplitudområdet" för pulsextraktion, medan resten av komponenterna beskärs som buller. Intressant nog har även maskininlärning undersökts för att erhålla rPPG-mätningar. Osman m.fl. ha utbildat en diskriminativ statistisk modell för att uppskatta BVP-signalen från det mänskliga ansiktet med hjälp av omgivningsljus för att få lovande resultat. Å andra sidan, Alqaraawi et al. har använt den automatiska multiskalbaserade toppdetekteringsalgoritmen (AMPD) tillsammans med en bayesisk inlärningsmetod för att uppskatta tillförlitliga pulsvariabilitetsmått. Många nya rPPG-mätalgoritmer har introducerats nyligen. En översikt över ett brett spektrum av Imaging PPG (IPPG) system har tillhandahållits av Sun och Thakur som visar forskningen om rPPG och visar dess allmänt utbredda och utbredda acceptans [24]. I ett liknande arbete, McDuff et al. ge en översyn av toppmoderna PPG-avbildning med beaktande av andra mätningar än pulshastighet under realistiska förhållanden såsom närvaro av rörelse artefakter [25]. Ett annat intressant bidrag gjordes av Tarassenko et al. med hjälp av autoregressiva modeller för att eliminera effekten av ljus flimmer på videor av patienter som genomgår hemodialys, visar genomförbarheten av att använda rPPG mätningar i en relativt okontrollerad miljö [26]. Införlivande av en förhandsinformation för att underlätta optimeringsprocessen är också ett intressant tillvägagångssätt vid signalseparation. Lu m.fl. har använt en referenssignal för att koppla separationsprocessen för att konvergera mot den önskade signalen som liknar referenssignalen [9]. De använder Lagrange multiplikatorer metod med hjälp av skillnaden mellan Sida 6 av 22 Macwan et al. BioMed Eng OnLine (2018) 17:22 referenssignalen och den beräknade signalen som en begränsning som ska minimeras. I ett verk inspirerat av deras, Tsouri et al. föreslog en metod för begränsad ICA med en rektangulär puls som referenssignal inom ramen för rPPG [27]. I en rPPG signal extraktion problem, med användning av en tillräckligt exakt referenssignal är benägen till den uppenbara komplikationen av att välja sin rätt frekvens. Detta kan göras på två möjliga sätt. Ett alternativ är att gång på gång jämföra den extraherade rPPG-signalen med referenssignaler från olika frekvenser, så som görs av Tsouri et al. [27], som som förväntat beräknas beskatta cirka 30 gånger långsammare än traditionell ICA. Det andra alternativet är att uppdatera frekvensen av referenssignalen kontinuerligt, vilket i praktiken gör den till en parameter för att optimera. Detta ökar problemets komplexitet och minskar sannolikheten för konvergens. En PPG-signal är en mycket lämplig referens för rPPG-extrahering vars syntes är kritiskt beroende av den önskade frekvensen, till och med mer så än den faktiska formen på signalen. För att undvika denna begränsning använder vi autokorrelering som en förhandsinformation för att styra cICA separationsalgoritm som sedan väljer den mest periodiska komponenten som representerar blodvolympulsen. För att ytterligare underlätta konvergensen tillämpar vi chrominancebaserade begränsningar baserade på den standardiserade hudtonen som används av De Haan et al. [4]............................................................... Användningen av två begränsningar ökar sannolikheten för konvergens mot bästa rPPG-signal. Som redan nämnts finns det flera paradigm för rPPG-mätningar såsom metoder baserade på fysiologiska egenskaper hos huden, smarta ROI, maskininlärning tillvägagångssätt, och naturligtvis källseparation metoder. Detta arbete bidrar till den klass av metoder som bygger på halvblind källseparation, med begränsningar baserade på hudens periodicitet och fysikaliska egenskaper. Därefter presenterar vi den föreslagna metoden och förklarar i detalj de två begränsningar som används. Vi börjar med den grundläggande formuleringen av ICA där den erforderliga signalvektorn y av storlek N extraheras från RGB temporal spårmatris x av storlek 3 × n med hjälp av en viktmatris w av storlek 3 × 1 enligt y = w T x. Som tidigare nämnts strävar vi efter att utföra komponentextraktion istället för separation, vilket återspeglas i förändringen av viktningsmatrisens storlek från 3 × 3 i grundläggande ICA till 3 × 1 för cICA. CICA-algoritmen syftar till att optimera för den bästa viktningsmatrisen w, vilket maximerar den objektiva funktionen samtidigt som den uppfyller de påtvingade begränsningarna. Typiska biomedicinska signaler som EKG och PPG-signaler är kända för att vara periodiska eller semiperiodiska. Denna implicita egenskap hos de biomedicinska signalernas periodicitet kan utnyttjas för att vägleda komponentextraktionsprocessen vid konvergering till komponenten med den högsta periodiciteten. Följaktligen använder vi autokorrelation som en av begränsningarna för att knuffa algoritmen mot att välja komponenter som har periodicitet högre än en given tröskel. Dessutom har vi också begränsningar baserade på de fysiska egenskaperna hos huden, som direkt påverkar ljuset reflekteras från huden, och därmed färgen eller krominance information däri. Denna begränsning utvecklades med hjälp av CHROM-metoden som utan tvekan är en av de mest tillförlitliga teknikerna i litteraturen [4]. Dessa två begränsningar beskrivs därefter i detalj. Sida 7 av 22 Macwan m.fl. BioMed Eng OnLine (2018) 17:22 Autocorrelation är korrelationen av en signal med sig själv vid olika fördröjningstider förutsatt att den provtas vid en tillräckligt hög frekvens. För en tidsseriesignal y = [y 1 y 2 · · · · y N ] av N-element, dess diskreta autokorrelering r k vid lags k  till [− (N − 1),. ., N − 1] ges av var k y j är det j: e elementet i signalen y lagged (eller leds för k < 0) av k enheter och vadderade med nollor till vänster (eller höger för k < 0) och är elementvis multiplikations operatör. En periodisk signal har vanligtvis en högre korrelation med sig själv jämfört med en icke-periodisk signal. Denna höga korrelation kan kvantifieras som medelvärdet av signalens fyrkantiga autokorrelation och kan följaktligen användas som ett mått på signalens periodicitet. Figur 2 visar den höga autokorrelationen av en periodisk sinusoid jämfört med den för en enhetlig slumpmässig signal med medelvärdet av den fyrkantiga autokorrelationen är mycket högre än för den slumpmässiga signalen. För att underlätta användningen av autokorrelering som en periodisk åtgärd och förenkla beräkningen av denna måste två ändringar göras. För det första, eftersom autokorrelationen är symmetrisk, beräknar vi bara korrelationen för fördröjningar k... [0,.., N − 1]. För det andra, eftersom korrelationen vid lag 0 alltid kommer att vara hög ställer vi in autokorrelationen till 0 vid lag k = 0. Detta är synligt framträdande i Fig. 2d som uppvisar en topp vid lag k = 0. Således använder vi den autokorrelation som ges av r = [r 1 r 2 · · · r N ] bestående av N värden som ges av Eq. 1, med undantag för r 1 = 0. Med tanke på att r k är en skalare, Eq. 1 kan skrivas om i matris notation som var k y är igen signalen y lagged av k enheter. Dessutom, för att förenkla härledningen av autocorrelation, k y kan skrivas om som yT k där T k är en toeplitz-liknande matris som innehåller den släpande på lag k och stoppning med nollor och ges av et al. BioMed Eng OnLine (2018) 17:22 T k är en N × N matris som består av de första N − k raderna som består av (N − k) × k nollor och en identitetsmatris av storlek N − k. Således blir r k att göra sin differential med avseende på y lättare att beräkna. Ett av de viktiga kraven för optimeringsramen var att använda första och andra derivat av autokorrelation r k med avseende på viktning matris w. Denna formulering, även om den är icke-trivial, presenteras i detalj i bilagan för att upprätthålla kontinuitet här. Även om autokorrelering hjälper optimizer att konvergera till en viktningsmatris som extraherar rätt komponent för enkla videor, i ett mer realistiskt scenario är det benägna att inte ha så väl definierade maxima. Dessutom, i konditionsscenarier med repetitiva rörelser, antagandet att den mest periodiska komponenten som rPPG-signalen är störd av den periodiska rörelsekomponenten i fitnessaktiviteten. Detta kräver att man använder en annan begränsning, som inte i grunden påverkas av periodiska komponenter, för att underlätta den konvergens för vilken CHROM-begränsningen [4] är en lämplig kandidat. För att bekräfta detta krav, och för att korrelera autokorrelationen med vikterna, den genomsnittliga kvadrat autokorrelering ritades mot alla möjliga ortonormala vikter, (w R, w G, w B ) vars komponenter representerar bidraget från var och en av RGB kanaler i form av rPPG-signalen. Alla dessa möjliga viktvektorer i R 3 spänns av standardbasen w 1 = (1, 0, 0,), w 2 = (0, 1, 0), w 3 = (0, 0, 1), dvs. en temporal del av RGB spår, 30 s lång, x t, användes för att utföra denna viktanalys. För att rita automatisk korrelering som en funktion av vektorutrymmet (w R, w G, w B ), skalades varje vektor w med motsvarande genomsnittliga kvadrata autokorrelering av y t = wx t för att få tomten i bild. 3............................................................... Denna tomt kan tänkas som en deformation av enheten sfären, på grund av ortonormaliteten hos viktningsvektorer, med den genomsnittliga kvadraten autokorrelation av y t. Den idealiska viktningsvektor som ger den maximala autokorrering avbildas som w autocorr och CHROM vägningsvektorn avbildas som w chrom. Det kan ses från Fig. 3 att den genomsnittliga kvadraten autokorrelationen är symmetrisk med avseende på w, d.v.s. kommer det alltid att finnas en dubbel av en given viktningsvektorn som skulle ge exakt samma autokorrelation. Detta är inte nödvändigtvis en nackdel eftersom optimizern kommer att konvergera oberoende av den ursprungliga riktning som valts. Men det är också synligt att tomten inte är särskilt peaky, dvs.. Den maximala autokorrelationen är lokaliserad till ett område med mindre lutning, vilket kan göra konvergensen långsammare mot slutet. Det är också (3) Sida 9 av 22 Macwan et al. BioMed Eng OnLine (2018) 17:22 anmärkningsvärt att viktningsmatrisen som motsvarar den maximala autokorrationen, w autocorr och CHROM viktningsmatrisen, w chrom avbildas som vektorer pekar runt samma närhet. Med andra ord, rPPG-signalen extraheras med hjälp av CHROM-metoden uppvisar också hög autokorrelation. Å andra sidan tenderar krominansbaserade metoder att vara restriktiva i valet av viktningsmatris baserad på deras linjära formulering. Enligt De Haan och Jeanne [4] erhålls en kromanssignal som innehåller den maximala fotoplethysmografiska informationen med hjälp av en standardiserad hudton som resulterar i en algoritm som kan fungera korrekt oavsett färgen på belysningen. CHROM-signalen ges genom att X f = 3R f − 2G f och Y f = 1.5R f + G f − 1.5B f är prognoserna för RGB spår på standard hudton utrymme och x = [R f, G f, B f ] T är bandpass filtrerade temporal RGB spår av storlek 3 × N. α är förhållandet mellan standardavvikelserna för X f och Y f ger där w chrom är CHROM viktningsmatrisen. Målet med den föreslagna rPPG extraktionsalgoritmen är att konvergera mot viktmatrisen som samtidigt ger en komponent av hög periodicitet och ligger inom närheten av vikterna w chrom upp till ett visst tröskelvärde. En analys av effekten av kombinationen av dessa två begränsningar presenteras i nästa avsnitt. För att bedöma effekten av kombinationen av periodicitet och krominansbegränsningar på cICA-algoritmen, och dess nytta i fitnessscenarier, spelades tre videor in på en fitnesscykel. De kategoriseras som LJUS, MODERAT och INTENSIV baserat på hastigheten på rörelse och intensitet av träning. Figur 4 visar en ögonblicksbild från tre et al. BioMed Eng OnLine (2018) 17:22 videor som uppvisar en framträdande periodisk rörelse tillsammans med noggrannhetsjämförelser mellan återvunnen rPPG från CHROM, cICA använder endast periodicitetsbegränsningen och cICA med hjälp av både periodiciteten och krominansrestriktionen. CHROM-metoden kunde extrahera rätt rPPG-signal för LIGHT-videon (Fig. 4b) medan cICA med endast periodicitetsbegränsningen konvergerade till den komponent som representerar den starka periodiska rörelsen (Fig. 4c)................................................................................................ Som förväntat resulterade kombinationen av CHROM- och periodicitetsbegränsningar i konvergens med den korrekta rPPG-signalen (Fig. 4d)................................................................. CHROM-metoden kunde dock inte extrahera rätt komponent för MEDIUM- och INTENSIV-videor där variationerna på grund av rörelse överväldigar rPPG-variationerna (Fig. 4f )........................................................................................................... Intressant nog, där både CHROM och CICA med bara periodicitetsbegränsningen misslyckades separat, resulterade deras kombination i en partiell konvergens till rPPG-signalen som syns i bild. Fyra timmar. Detta kan tillskrivas sammandragningen av lösningsutrymmet vilket resulterar i att optimizern konvergerar till den korrekta rPPG-signalen. Slutligen, för INTENSIV video, rörelsekomponenten var mycket starkare och ingen av metoderna lyckades extrahera rPPG-signalen (Fig. 4j-l).......................................................................................................... Detta kräver att man använder sig av ett system med rörlig ersättning för att mildra sådana rörelser med hög intensitet. Följaktligen dessa två begränsningar, autokorrelationen är lite för mild och chrominance baserad begränsningen är alltför restriktiv, när man väljer den bästa viktningsmatrisen, kan kombineras för att vägleda optimizern att välja en viktningsmatris med optimal flexibilitet. Kombinationen är också fördelaktig för konditionsscenarier med begränsad regelbunden rörelse, utan någon rörelsekompensation. Detta genomförande visade på förbättrade resultat jämfört med både ICA- och CHROM-metoder vars analys figur. 4 Nyttan av kombinationen av periodicitet och krominans begränsningar i ett fitnessscenario. a LJUS, b CHROM, c CICA med periodicitetsbegränsningar, d CICA med periodicitet och krominansbegränsningar, e MEDIUM, f CHROM, g CICA med periodicitetsbegränsningar, h CICA med periodicitet och krominansbegränsningar, i INTEN-SIVE, j CHROM, k CICA med periodicitetsbegränsningar, l CICA med periodicitets- och krominansbegränsningar Page 11 of 22 Macwan et al. BioMed Eng OnLine (2018) 17:22 presenteras i avsnittet "Resultat och diskussion". Användningen av dessa två begränsningar i vår ram beskrivs i nästa underavsnitt. En generisk kontrastfunktion för ICA som definieras av [8], är negentropy-funktionen som ges av J (y) = H (y gauss ) − H (y) där H (.) är differentialentropin och y gauss är en slumpmässig variabel med en varians som är lika med utgångssignalen y. I FastICA [8], en approximation av negentropy infördes för mer tillförlitlighet och flexibilitet ges av där ρ är en positiv konstant, v är ett noll medelvärde, enhet varians Gaussian och G (.) kan vara vilken icke-kvadratisk funktion som helst. Som föreslås i [28] en bra allmän funktion ges av med 1 < a < 2. Constomed ICA syftar till att lindra problemen med ICA med hjälp av Lagrange multiplikator metoder. Lagrange multiplikatormetoder [29] är ett verktyg för att utföra begränsade optimeringsproblem efter den allmänna formen där f (X) är den objektiva funktionen, g(X) är en uppsättning ojämlikhet begränsningar och h(X) är en uppsättning jämställdhet begränsningar. Målet att få viktningsmatrisen för att ge den optimala hjärtpulsen med hjälp av cICA kan uppfyllas med hjälp av ojämlikhet begränsningen där w representerar en enda demixing vikt vektor av storlek som är lika med antalet ingångskanaler och  till (w) representerar den uppsättning begränsningar som ska uppfyllas. Den optimala w extraherar sedan den optimala hjärtpulsen med hjälp av y = w T x. Med hjälp av medelvärdet av squared autocorrelation som en begränsning ger g(w) som var 1 betecknar tröskeln för den nedre gränsen av den optimala autocorrelation. Denna begränsning styr optimizern mot att välja viktningsmatrisen som resulterar i en signal av hög periodicitet, med den minsta förväntan av dess genomsnittliga kvadrat autokorrelation som  på 1. Därefter definieras CHROM-restriktionen som där w chrom är CHROM-vägningsmatrisen från Eq. 7 och 2 är tröskeln för den övre gränsen för avvikelse mellan den optimala och CHROM viktningsvektorn. Denna begränsning vägleder optimizern att konvergera mot CHROM viktningsmatrisen Page 12 of 22 Macwan et al. BioMed Eng OnLine (2018) 17:22 Det allmänna cICA-problemet kan definieras som [9] där J (y) är kontrastfunktionen för en enhet enligt definitionen i Eq. 8, g i (w) är den uppsättning ojämlikhet begränsningar som ska uppfyllas från EKG. 12 och 13, och h(w) begränsar utdata y till att ha enhetsvarians. Den utökade Lagrangian formulering som anpassats från [9] användes främst på grund av dess robusthet på grund av användningen av straffparametrar för att upprätthålla konvexitet antagande [29]. där i (w) = μ i + γ i g i (w), μ i och är de Lagrange multiplikatorer som motsvarar g i (w) respektive h(w). · betecknar den euklideiska normen och termerna 1 2 γ i · 2 och 1 2 β · 2 är de straffvillkor som ser till att optimeringsproblemet hålls på villkor av lokala konvexitet antagande: 2 xx L > 0, γ i och β är begränsningsvisa straffparametrar. Det första derivatet av L w.r.t w som krävs för den optimering som ges av var ρ = ±ρ beroende på tecknet på E{G(y)} − E{G(v)}, G ′ y (y) och g ′ i (w) är de första derivata av G(y) och g i (w) w.r.t y respektive w. Hessian L ′′ w k beräknas som en inversion av vilken inte är problematisk eftersom R xx är kovariansmatrisen för den bleknade och centrerade signalen x är en identitetsmatris. G Förväntningarna i ekvationerna beräknades med hjälp av alla prov från ingångssignalen x. De första och andra derivaten matades sedan in i Fmincon-funktionen hos MATLAB med hjälp av den inre punktalgoritmen [30] för att erhålla den slutliga viktningsmatrisen w * som sedan användes för att erhålla den slutliga rPPG-signalen. Figur 5 visar hela arbetsflödet för förfarandet. Låt x = [x 1 x 2 x 3 ] T vara temporal RGB spår med varje x m, m [1 · · 3] motsvarande kanalvis temporal spår vektor av storlek N. Varje x m, motsvarande varje videoram, erhölls (14) et al. BioMed Eng OnLine (2018) 17:22 genom rumsliga medelvärden av hudpixlar från ansiktet. Dessa kandidat hud pixlar erhölls genom att använda den metod som föreslagits av Conaire et al. [31] efter att ha utfört ansiktsdetektering och -spårning med tillämpningarna Viola-Jones och Kanade-Lucas-Tomasi som tillhandahålls av MATLAB:s verktygslåda för datorseende. Hörndetektering i det upptäckta ansiktet utfördes också för att spåra för att beskära ansiktet baserat på ansiktsmarkeringar. Därefter avstängdes de temporala RGB-spåren x genom att Karjalainen och al använde sig av en släthet i förväg. [32] för att avlägsna eventuella lågfrekventa trender i signalen. En del förbehandlingar, som vanligen rekommenderas för ICA, utfördes också. Centrering utfördes först för att omvandla den erhållna signalen y = w T x till en noll-medel signal, följt av blekning för att säkerställa att komponenterna var okorrelerade och deras varianser lika enhet. Observera att blekning, som ändrar standardavvikelsen för en signal, inte utfördes för CHROM begränsning eftersom CHROM-metoden bygger på att använda standardavvikelsen för en linjär kombination av RGB spår som ses i Eq. 6. Vad är det som händer? Dessa spår matades sedan till rPPG extraktionsmodulen där cICA-algoritmen användes för att extrahera den fönstervisa rPPG-signalen. När rPPG-signalen beräknades beräknades den fönstervisa hjärtfrekvensen från den högsta toppen av FFT filtrerad inom gränserna för normal hjärtfrekvens F  på [0,7, 3] Hz över ett temporalt rörliga fönster med hjälp av en stegstorlek på 0,5 s. ICA är allmänt känt för att fungera bättre med längre tidssignaler, men all bearbetning utfördes över ett 30-s fönster med hjälp av viktningsmatrisen w k som erhållits vid fönster k som en första uppskattning för beräkning av w k+1 vid nästa fönster. Detta gjordes för att efterlikna begränsningarna i ett levande scenario och därmed göra analysen mer relevant. Fönstrets längd på 30 s valdes som en avvägning mellan hastighet och tillgänglighet för tillräckligt med data för konvergens. Med detta sagt, en 15 s fönster måste väljas för MMSE-HR-databasen på grund av variabeln och ofta kort längd på videorna. Slutligen, Kalman filter användes, eftersom det var ett levande scenario, för att kompensera för falska avvikelser i den beräknade hjärtfrekvensen. Dessa avvikelser, även om de är användbara i scenarier som känslor framkallar för att extrahera flyktiga reaktioner, är inte relevanta i vår studie där vårt fokus är på puls signalextraktion. Valet av Kalman filter för utjämning är lämpligt och användbart för alla rPPG extraktion algoritm eftersom det alltid kan finnas falska mätningar på grund av rörelse och belysning artefakter. Och eftersom alla metoder behandlas med samma Kalman filterrutin, är jämförelsen mellan mätvärdena giltig. m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m. BioMed Eng OnLine (2018) 17:22 CICA-algoritmen validerades med hjälp av vår interna UBFC-RPPG-databas bestående av två datauppsättningar bestående av 9 (ca 21k frames) respektive 46 (ca 94k frames) videor respektive den offentliga MMSE-HR [1]-databasen bestående av 97 (ca 105k frames) videor. De två interna dataseten är märkta som SIMPLE respektive REALISTIC, och är etiskt godkända av de mänskliga deltagarna. SIMPLE-datasetet består av försökspersonerna avslappnade med ögonen stängda med en realistisk bakgrund och måttligt varierande ljusförhållanden. För REALISTIC datasetet var försökspersonerna skyldiga att spela ett tidskänsligt matematiskt spel som syftade till att öka deras hjärtfrekvens samtidigt efterlikna en normal människa-dator interaktion scenario. UBFC-RPPG databasen som är specifikt inriktad på rPPG analys skapades med hjälp av en anpassad C++ ansökan för video förvärv med en Logitech C920 webkamera placerad på ett avstånd av ca 1 m från ämnet. Videon spelades in med en ramupplösning på 640 × 480 i 8-bitars okomprimerat RGB-format på 30 bilder per sekund. En CMS50E transmissiv pulsoximeter användes för att få fram sanningen PPG-data bestående av PPG-vågformen samt PPG-pulsen. Den experimentella installationen med provbilder från båda databaserna visas i bild. 6............................................................. MMSE-HR-databasen är speciellt inriktad på forskning om känsloutveckling, men videorna är användbara för rPPG-analys. På grund av dess fokus på att framkalla känslor, et al. BioMed Eng OnLine (2018) 17:22 videorna i denna databas omfattar ett stort antal ansiktsuttryck och rörelser som hjälper till att bedöma vår metod noggrant. Baserat på dess arbetsprincip bör rPPG-signaler helst jämföras med PPG-baserade sanningssignaler. MMSE-HR-datauppsättningen ger dock endast hjärtfrekvenser för marksanning, förvärvade med hjälp av BIOPAC 150-datainsamlingssystemet som beräknades med hjälp av kontaktbaserade EKG-elektroder. Dessutom konstaterades det också att PPG-hjärtfrekvenserna var opålitliga och falska vid många tillfällen, mest definitivt på grund av rörelser i ämnet. Dessa två fakta gör MAE-måtten i vår analys mindre omfattande. Detta belyser också frågan om kontaktbaserade mätningar, där inte ens de grundläggande sanningssignalerna är helt tillförlitliga. Å andra sidan tillhandahåller vår UBFC-RPPG-databas både PPG-vågformerna och PPG-pulserna, vilket ger möjlighet till en mer omfattande analys. och G-R [34]. I litteraturen finns det flera verk som använder ICA för rPPG-extraktion. Kärnalgoritmen för den förblir dock densamma. Den ICA-implementering som används för vår analys har anpassats från FastICA [8]. Dessutom utfördes analysen av alla metoder med exakt samma för- och efterbehandlingssteg som normalisering, filtrering och utjämning. De exakta mätvärdena för ICA från relaterade toppmoderna metoder som [6, 7] och [5] kunde inte användas eftersom de alla använder sina egna privata databaser som inte var tillgängliga för allmänheten. Som tidigare nämnts förblir emellertid kärnalgoritmen för ICA densamma, vilket gör att mätvärdena i tabell 1 är tillämpliga. Dessutom ansågs en jämförelse med smarta metoder för val av ROI såsom [17, 19, 20] och [13] inte vara relevant för att begränsa jämförelsen mellan källseparationsmetoder, och det faktum att vår metod enkelt kan införlivas i ett ramverk för val av ROI. De bästa mätvärdena per metod kursiveras för att tydligt jämföra deras effektivitet. De mått som används i vår analys är genomsnittliga absoluta fel (MAE) i slag per minut (bpm), signal-till-brusförhållande (SNR) och Pearsons korrelationskoefficient (r) mellan pulsen beräknad med rPPG-signalen, HR rPPG och hjärtfrekvensen beräknad med hjälp av marken sanningen PPG vågform, HR PPG. MAE-värdet beräknades som det fönstervisa medelvärdet av RPPG-HR-PPG-PPG-medelvärdet per video. Den fönstervända metoden är beräkningsmässigt mer beskattning, på grund av den mindre fönsterlängd, men är mer realistisk. SNR (dB) beräknades som förhållandet mellan kraften hos huvudpulskomponenten i PPG och bakgrundsbruset för att ta hänsyn till signalernas breda dynamiska räckvidd. m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m. BioMed Eng OnLine (2018) 17:22 Det bör dock noteras att MMSE-HR-databasen inte tillhandahåller de grundläggande sanningsvågformerna, vilket gör det nödvändigt att använda den huvudsakliga pulsatila komponenten i RPPG i stället för PPG för SNR-beräkningen. I detta fall representerade SNR just styrkan hos den huvudsakliga pulsatila komponenten, som i sig är ett användbart mått, men som inte är giltig för jämförelsen med SNR för andra databaser som beräknats på ett annat sätt. Därför är SNR-värdena för MMSE-HR-databasen inte riktigt relevanta och utelämnas. MAE-värdena är dock relevanta eftersom de beräknas som skillnaden mellan rPPG- och PPG-hjärtfrekvenser, vilka tillhandahålls som grund för MMSE-HR-databasen. Det var också värt att bedöma cICA-algoritmens motståndskraft mot förändringar i parametrar som bildupplösning och fönsterlängd. Denna analys utfördes i två delar. MMSE-HR-databasen valdes för att bedöma effekten av ändringar i bildupplösning eftersom den ger bilder av upplösning 1040 × 1392 som ger möjlighet att bedöma nedskalade versioner av ramar, till 75, 35% och till och med till 10%, till förmån för UBFC-RPPG-databasen som ger bilder av en lägre upplösning, viz. 640 × 480 pixlar. Å andra sidan valdes datauppsättningen UBFC-RPPG REALISTIC för att bedöma effekten av ändringar i fönsterlängden, varvid bedömningen gjordes mot fönsterlängder på 10 respektive 20 s. I tabell 2 förtecknas de genomsnittliga resultaten av denna bedömning över de tre datauppsättningarna. Mätvärdena i sista raden motsvarar de ursprungliga resultaten. Det konstaterades att prestandan i fråga om fönsterlängden på 10 s minskade något, vilket förväntas på grund av bristen på tillräckligt med data för ICA:s objektiva funktion för att skapa oberoende. På motsvarande sätt återspeglar ramar med lägre upplösning förlust av rumslig information. Även om denna förlust i sig inte är alltför försämras för signalkvaliteten, det faktum att det var kopplat med 15 s fönsterlängd för MMSE-HR-databasen, förklarar de något högre MAE-värden för ramar skalas ner till 35 och 70%. Som förväntat är informationsförlusten något mer uttalad på en skala på 10%, vilket visar den svaga kvalitetsnedgången för den extraherade rPPG-signalen med minskad upplösning. Minskningen på grund av förlust av rumslig information kan tillskrivas minskningen av det totala antalet hud pixlar som används för att få det genomsnittliga signalvärdet per ram. m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m. BioMed Eng OnLine (2018) 17:22 Slutligen, eftersom cICA i huvudsak är en optimeringsalgoritm där vikterna slumpmässigt initieras, var det värt att bedöma dess konsistens under flera körningar. Figur 7 visar rutan diagram som jämför MAEs med cICA för UBFC-SIMPLE dataset utan mycket rörelse under omgivande ljus, UBFC-REALISTISK dataset med försökspersoner som arbetar på en dator under omgivande ljus, och MMSE-HR dataset med försökspersoner som uppvisar ansiktsuttryck under inomhusbelysning. Dessa tester på dataseten utfördes 20 gånger. Det är synligt från rutan diagram som cICA metoden utför konsekvent resulterar i MAEs i intervallet [0.53, 1.96] Den globala korrelationsanalys med hjälp av fönstervisa beräkningar mellan HRs från PPG kontra RPPG som erhålls från alla videor i varje datauppsättning för hud-segmenterade pixeldata för en viss körning presenteras i bild. 8............................................................... Mätvärdena PRECIS 2.5 och PRECIS 5 visar procentandelen fönster där δ =  tillHR rPPG – HR PPG  och < 2,5 respektive 5 bpm. n representerar det totala antalet fönster som används i analysen, r är Pearsons korrelationskoefficient och y visar ekvationen för den monterade linjen. Det är värt att nämna att MAE-värdena i Bild. 8 och tabell 1 skiljer sig från dem i bild. 7, Som är i genomsnitt över 20 avrättningar, men är uppenbarligen inom räckhåll. Skillnaderna i intervallet 10–2 bpm är dessutom obetydliga. Analysen av SIMPLE-datauppsättningen, som namnet antyder, var ganska lätt för både ICA och CICA. CICA tog dock bort de få avvikelser som finns när det gäller ICA. Detta återspeglas i de låga MAE- och höga SNR-värdena som visas i tabell 1. Detta kan tillskrivas det faktum att försökspersonerna i allmänhet var avkopplande, mestadels med ögonen stängda, vilket resulterade i minimal rörelse artefakter. Å andra sidan var det REAL-ISTIC datasetet något mer utmanande eftersom försökspersonerna faktiskt arbetade på datorn och bara ombads att hålla handen stilla för PPG-sensorn. På liknande sätt var databasen MMSE-HR en utmaning eftersom den var en databas för att framkalla känslor. Det fanns många fall där försökspersonerna skrattade högt, uppvisade betydande rörelser, samtidigt som de regelbundet manifesterade olika ansiktsuttryck. Detta resulterade i de vanliga problem som uppstod till följd av förflyttningen av försökspersonerna och ansiktsröntgen. Följaktligen var förekomsten av avvikande faktorer mer uttalad för både REALISTIC-datauppsättningen och MMSE-HR-databasen, som cICA kunde minska. Dessutom var monteringslinjen närmare 45° linjen med cICA jämfört med ICA. m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m. BioMed Eng OnLine (2018) 17:22 I det här dokumentet presenterade vi en ny metod för separation av halvblinda källor för tillämpning av rPPG-mätningar med hjälp av autokorrelering och kromansbaserade begränsningar för att styra separationsprocessen för ICA. Den cICA som använder autokorrelation och krominance begränsningar ger bättre resultat än enkla ICA samtidigt ta bort det extra steget för att välja den bästa komponenten. Periodogrammet för de extraherade signalerna var också konsekvent närmare PPG:s. Inbegripet av krominansrestriktionen kan också bidra till mätning av rPPG i scenarier som omfattar periodiska rörelser. Eftersom i detta fall, autokorrelationsrestriktionen är sannolikt att vara förorenad av signalen som motsvarar den periodiska rörelsen, optimeraren kan gynna signalen som uppfyller både, autokorrelationen och CHROM begränsningar. Dessutom kan bättre ansikts- och huddetektorer och spårare undersökas för att förbättra noggrannheten. Även om CHROM-restriktionen hjälper konvergensen till rätt rPPG-signal för begränsade rörelser, misslyckas den när de är mer uttalade i hastighet och intensitet. Metoden kan därmed dra nytta av motionskompensation som i sig är ett annat intressant ämne för forskning. Sist, men inte minst, vi genomsnitt hela huden segmenterad bild för att få ett enda värde och därmed förlora all rumslig information. Högre ordning analys som bevarar de rumsliga sambanden mellan pixel kvarter är också en viktig väg att titta på.
En lösning på detta problem diskuteras av Macwan et al. Hoppa över det.
Remote photoplethysmography with constrained ICA using periodicity and chrominance constraints
{'venue': 'BioMedical Engineering OnLine', 'journal': 'BioMedical Engineering OnLine', 'mag_field_of_study': ['Medicine', 'Computer Science']}