Automatisk smärtigenkänning från videor är en viktig klinisk tillämpning och, på grund av dess spontana natur, utgör intressanta utmaningar för automatisk ansiktsuttrycksigenkänning (AFER) forskning. Tidigare smärta vs ingen smärta system har markerat två stora utmaningar: (1) mark sanning tillhandahålls för sekvensen, men närvaron eller frånvaron av måluttrycket för en given ram är okänd, och (2) tidspunkten och varaktigheten av smärtuttryck händelse(er) i varje video är okända. För att ta itu med dessa frågor föreslår vi ett nytt ramverk (som kallas MS-MIL) där varje sekvens representeras som en påse som innehåller flera segment, och flera instans lärande (MIL) används för att hantera denna svagt märkta data i form av sekvensnivå mark-sanning. Dessa segment genereras genom flera kluster av en sekvens eller kör en flerskalig temporal scanning fönster, och representeras med hjälp av en state-of-the-art Bag of Words (BoW) representation. Detta arbete utvidgar idén om att upptäcka ansiktsuttryck genom "begreppsramar" till "begreppssegment" och argumenterar genom omfattande experiment att algoritmer som MIL behövs för att dra nytta av fördelarna med en sådan representation. De viktigaste fördelarna med vårt tillvägagångssätt är: (1) gemensam upptäckt och lokalisering av smärtsamma ramar med endast sekvensnivå mark-sanning, (2) integrering av temporal dynamik genom att representera data inte som enskilda ramar utan som segment, och (3) extraktion av flera segment, som är väl lämpad för signaler med osäker tidsmässig placering och varaktighet i videon. Omfattande experiment på UNBC-McMaster Shoulder Pain dataset belyser effektiviteten i tillvägagångssättet genom att uppnå konkurrenskraftiga resultat på både uppgifter smärtklassificering och lokalisering i videor. Vi utvärderar också empiriskt bidragen från olika komponenter i MS-MIL. Papperet innehåller även visualisering av discriminativa ansiktsfläckar, viktiga för smärtdetektering, som upptäckts av vår algoritm och relaterar dem till aktionsenheter som har förknippats med smärtuttryck. Vi avslutar dokumentet med att visa att MS-MIL ger en betydande förbättring av en annan spontan ansiktsuttryck dataset, FEEDTUM dataset.
Sikka et al REF modellerade videosekvenser från UNBC-McMaster dataset med Bag of Words representation och tillämpade flera segment flera instans lärande (MS-MIL) för att gemensamt upptäcka och lokalisera smärtsamma ramar med hjälp av sekvens-nivå mark sanning (OPI).
Classification and weakly supervised pain localization using multiple segment representation
{'venue': 'Image and vision computing', 'journal': 'Image and vision computing', 'mag_field_of_study': ['Computer Science', 'Medicine']}