Blandningar av Gaussians, faktoranalysatorer (probabilistic PCA) och dolda Markov modeller är häften av statiska och dynamiska data modellering och bild och video modellering i synnerhet. Vi visar hur topografiska transformationer i indata, såsom översättning och klippning i bilder, kan redovisas i dessa modeller genom att inkludera en diskret transformationsvariabel. Den resulterande mod els utföra klustering, dimensionality reduction och time-series analys på ett sätt som är invariant till omvandlingar i inmatningen. Med hjälp av EM-algoritmen kan dessa omvandlingsmodeller passa för statiska data och tidsserier. Vi ger resultat på filtrering mi kroscopy bilder, ansikte och ansikte pose cluster, handskriven siffra modellering och känna igen nition, video kluster, objekt spårning, och avlägsnande av distraktioner från videosekvenser. 1 Grafiska modeller och deras dynamiska varianter växer i popularitet som ett sätt att bygga utseende baserade modeller för datorseende.1 Men många utseende-baserade modeller-såsom blandningar av Gaus sians, faktoranalysatorer, blandningar av faktoranalysatorer och dolda Markov modeller med Gaussiska utgångar är extremt känsliga för rumsliga eller topografiska transformationer av indata bilder. Dessa omvandlingar kan innefatta översättning, rotation, klippning och warpning. Till exempel, om en blandning av Gaussians passar till en uppsättning bilder som inkluderar slumpmässiga översättningar, centren kommer att representera olika omvandlingar av es sentially samma data. Ta kung ansikte bilder som ett ex gott om, det skulle vara mer användbart för de olika kluster Föreställ dig vad som händer med punkten i N dimensional utrymme som motsvarar en N-pixel bild av ett objekt, medan objektet deformeras genom skjuvning. En mycket liten mängd klippning kommer att flytta punkten endast något, så deformering objektet genom klippning kommer att spåra en kontinuerlig kurva i utrymmet för pixel intensiteter. Som illustreras i bild. 1a, omfattande nivåer av klippning kommer att producera en mycket ickelinjär kurva (con sider klippning en tunn vertikal linje), även om kurvan kan approximeras av en rak linje lokalt. Linjära approximationer av omvandlingsgrenröret har använts för att avsevärt förbättra perfor mance av feedforward discriminativa klassificeringar såsom närmaste grannar och flerskikts perceptrons (Simard et al., 1993). Linjära generativa modeller (faktor analyz ers, blandningar av faktoranalysatorer) har också modifierats med linjära approximationer av omvandlingsgrenröret att bygga i någon grad av omvandling i varians (Hinton et al., 1997). I allmänhet är linjär approximation korrekt för transformationer som par angränsande pixlar, men är felaktig för transformationer som par icke-nära tråkiga pixlar. I vissa tillämpningar (t.ex. handskriven igenkänning av siffror) kan inmatningen suddas ut så att den linjära approximationen blir mer robust. För betydande nivåer av omvandling, det ickelinjära grenröret kan bättre modelleras med hjälp av en diskret ap proximation. Till exempel kurvan i bild. la kan representeras av en uppsättning punkter (fyllda skivor). I detta tillvägagångssätt specificeras en diskret uppsättning möjliga omvandlingar i förväg och parametrar lärs in så att modellen är invariant till uppsättningen av omvandlingar. Detta tillvägagångssätt har använts för att utforma "konvo lutionella neurala nätverk" som är invarianta till translation (Le Cun et al., 1998). Vi beskriver hur invarians till en diskret uppsättning kända omvandlingar (som översättning) kan byggas in i en
I ett annat sammanhang visar Frey och Jojic REF hur man tar hänsyn till synförändringar i en dynamisk probabilistisk modell.
Learning Graphical Models of Images, Videos and Their Spatial Transformations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}