Sammanfattning — Hidden Markov modeller (HMMs) har blivit arbetshästar för övervakning och händelseigenkänning litteratur eftersom de ger tidsserie analys nyttan av densitetsberäkning och bekvämligheten av dynamisk tidsförvrängning. När dessa modeller väl har tränats anses de vara ogenomskinliga; det finns ingen ansträngning att tolka de dolda tillstånden. Vi visar att genom att minimera den gemensamma distributionens entropi kan en HMM:s inre statsmaskin göras till att organisera observerad aktivitet i meningsfulla tillstånd. Detta har användning i videoövervakning och annotation, låg bit-rate kodning av scenaktivitet, och upptäckt av avvikande beteende. Vi demonstrerar med modeller av kontorsaktivitet och utomhustrafik, som visar hur ramverket lär sig de viktigaste aktivitetssätten och aktivitetsmönsterna förändras. Vi visar sedan hur denna ram kan anpassas för att dra slutsatsen dolda tillstånd från extremt tvetydiga bilder, i synnerhet, sluta 3D kroppsorientering och posera från sekvenser av lågupplösta silhuetter. Index Villkor — Video aktivitet övervakning, dolda Markov modeller, dolda tillstånd, parameteruppskattning, entropy minimization. ae En diskret tid dold Markov modell är en blandning modell förstärkt med dynamik genom att konditionera sitt dolda tillstånd i tid t på tiden tÀI. En HMM av x dolda tillstånd och Gaussian utsläpp distributioner anges av 4-tuple f ijj Y i Y "" i Y u u i gY I iY j x, där ijj är multinomial övergång sannolikheter mellan dolda tillstånd, i är den ursprungliga sannolikheten för tillstånd i, och "" i Y u u u parameterize utsläpp distributioner för varje tillstånd, i detta fall innebär och covariances av Gaussiska densiteter Prob(x xj state i) = x x xY " i Y u u i. Sannolikheten för en multivariat tidsserie är produkten av alla övergångs- och utsläppsannolikheter associerade med en dold tillståndssekvens fs I Y Y Y s g, summerad över alla möjliga tillståndssekvenser: Dynamiska programmeringsalgoritmer finns tillgängliga för de grundläggande inferensuppgifterna: Med tanke på en tidsserie beräknar Viterbi algoritm den mest sannolika dolda tillståndssekvensen; den framåtvända algoritmen beräknar datasannolikheten och förväntade tillräcklig statistik över dolda händelser såsom statsövergångar och ockcupancies. Denna statistik används i Baum-Welch parameter omskattning för att maximera sannolikheten för modellen med tanke på uppgifterna. Förväntningsmaximeringsalgoritmen (EM) för HMMs består av framåt-backward analys och Baum-Welch reskattation itererade till konvergens med en lokal sannolikhet maximum. Principen om maximal sannolikhet (ML) är inte giltig för små datamängder; i de flesta visionsuppgifter är träningsdata sällan tillräckligt stora för att spola ut provtagningsartefakter (t.ex. buller) som skymmer datagenererande mekanismens väsentliga regularitet. Det är inte allmänt känt att detta är ett akut problem i doldavariabla modeller, där de flesta av parametrarna endast stöds av små delmängder av data. Det, i kombination med det faktum att modellerna har högklassiga symmetrier som tillåter många olika parameteriseringar av samma fördelning, resulterar i ett inlärningsproblem som är genomsyrat av lokala optima. Följaktligen är ML dolda-variabla modeller vanligtvis både under passform, misslyckas med att fånga den dolda strukturen av signalen, och överpassning, med en surfait av svagt understödda parametrar som oavsiktligt modellerar oavsiktliga egenskaper hos signalen såsom buller och provfördomar. Detta leder till dålig prediktiv kraft och blygsam generalisering som stöder endast begränsade slutsatser uppgifter, såsom att klassificera en av en liten uppsättning av händelser av intresse. Vi förespråkar att Baum-Welch formulñ ersätts med parameterskattningar som minimerar entropi. Entropy minimization utnyttjar dualiteten mellan inlärning och komprimering för att approximera en optimal separation mellan väsentliga egenskaper (regulariteter och dold struktur i data som bör fångas upp av modellen) och oavsiktliga egenskaper (buller och provtagning artefakter som bör ignoreras). Genom att göra det, avslöjar det dolda strukturer i data som tenderar att vara starkt korrelerade med meningsfulla partitioner av data-genererande mekanismens beteende. I denna artikel beskriver vi entropy minimization för HMMs och visar hur tre videotolkningsuppgifter kan behandlas som problem med att sluta dolda tillstånd: kommentera kontorsverksamhet, övervaka trafikkorsningar, och sluta 3D rörelse från monocular video. En vanlig tråd i dessa applikationer är betoningen av slutledning över bildbehandling eller scenmodellering; högnivåslutsatser görs från relativt utarmad avkänning via inlärda tidigare snarare än konstruerade algoritmer. Små HMM och HMM-baserade hybrider har haft stor framgång i talad ord- och visuell gestigenkänning, delvis för att det är möjligt att handdesigna en lämplig övergångstopologi, vilket är den dominerande begränsningen i inlärningsproblemet. Men deras användbarhet för mer komplicerade system begränsas allvarligt av det faktum att man för modeller av icke-trivial storlek måste undersöka för en lämplig topologi med hjälp av mycket dyra söktekniker. Även om litteraturen i HMM-baserad visuell händelseklassificering är omfattande, så berör den inte denna artikels fokus — att upptäcka en uppsättning händelsetyper som effektivt beskriver åtgärder i videon — så vi kommer bara att granska den kategoriskt. Man kan konsultera förfarandet [11], [8], [14] för att se huvuddelen av den visuella övervaknings- och händelseigenkänningslitteraturen under de senaste två åren: Över 30 sådana papper använder ett litet batteri HMM som en postvisuell klassificering av händelser. Nästan alla använder HMM som standard Bayesian MAP klassificering: Varje HMM tränas på några exempel på händelse av intresse; efter utbildning, nya händelser klassificeras via sannolikhetskvoter. HMM:erna har en handdesignad topologi, som vanligtvis motsvarar en banddiagonal övergångsmatris; antalet band och tillstånd hittas genom experiment. Relaterade modeller, såsom dynamiska Bayes' nät, kräver också noggrann hantverk. Problemet med att hitta lämpliga HMM topologier är föremål för intensivt forskningsintresse utanför visionslitteraturen; [5] granskar 12 av de mest aktuella tillvägagångssätten för att lära HMM topologi, alla involverade heuristiska generera-och-test sökning eller heuristiska klustermetoder. I den här artikeln kommer vi att utforska en oövervakad strategi där entropiminimering automatiskt inducerar en partitionering av signalen till händelser av intresse. Detta ramverk ger monotona (hillclimbing) algoritmer för samtidig uppskattning av modell topologi och parametrar. Som våra applikationer kommer att visa är resultatet en enda, glest ansluten HMM som innehåller hela klassificeringsmotorn. Detta gör det möjligt för oss att 844 IEEE TRANSAKTIONER PÅ PATTENANALYS OCH MASKIN INTELLIGENS, VOL. 22, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, nej, 8, AUGUSTI 2000. M. Brand är med Mitsubishi
HMM tillämpas också av Brand et al. REF att organisera observerade aktiviteter baserade på minimering av komponentdistributionernas entropi för både kontorsaktiviteter och trafikflöden utomhus.
Discovery and Segmentation of Activities in Video
{'venue': 'IEEE Trans. Pattern Anal. Mach. Intell.', 'journal': 'IEEE Trans. Pattern Anal. Mach. Intell.', 'mag_field_of_study': ['Computer Science']}