Att förstå en datauppsättning på ett automatiskt och oövervakat sätt är ett utmanande problem inom statistik och AI. Klassiska metoder för täthetsuppskattning är vanligtvis inte tillräckligt flexibla för att hantera den osäkerhet som är inneboende i verkliga data: de är ofta begränsade till fasta latenta interaktionsmodeller och homogena sannolikheter; de är känsliga för saknade, korrupta och onormala data; dessutom, deras uttrycksfullhet i allmänhet kommer till priset av intractable inference. Som ett resultat av detta behövs vanligtvis övervakning från statistiker för att hitta rätt modell för uppgifterna. Eftersom domänexperter inte nödvändigtvis behöver vara experter på statistik föreslår vi dock automatisk Bayesian Density Analysis (ABDA) för att göra densitetsuppskattning tillgänglig i stort. ABDA automatiserar urvalet av lämpliga sannolikhetsmodeller från godtyckligt rika ordböcker samtidigt som de modellerar sina interaktioner via en djup latent struktur adaptivt inlärd från data som ett sum-produktnätverk. ABDA gör en uppskattning av osäkerheten på dessa lokala och globala nivåer till ett gemensamt Bayesian inference problem, vilket ger robusta och men ändå dragbara slutsatser. Omfattande empiriska belägg visar att ABDA är ett lämpligt verktyg för automatisk undersökande analys av heterogena tabulära data, vilket gör det möjligt att missa värdeuppskattning, statistisk datatyp och sannolikhetsfyndighet, anomalidetektering och beroendestruktur mining, utöver att tillhandahålla korrekt densitetsuppskattning. ArXiv:1807.09306v2 [stat.ML] 3 okt 2018 kriterium. Olika från de tillvägagångssätt som nämns ovan, här behandlar vi modellval för en helt oövervakad uppgift, i syfte att hjälpa domänexperter i undersökande dataanalys, ge dem en probabilistisk ram för att utföra effektiv inferens och få användbara insikter från data på ett automatiskt sätt. En lämplig oövervakad inlärningsmetod för att ta reda på vad som finns i data är densitetsuppskattning (DE). För att utföra DE på data i ett tabellformat, om det inte finns någon statistiker runt, skulle en utövare först försöka heuritiskt dra slutsatsen de statistiska typerna av datafunktioner, t.ex. verkliga, positiva och numeriska och nominella datatyper [33]. Baserat på detta skulle hon behöva göra antaganden om deras fördelning, dvs. välja en parametrisk sannolikhetsmodell lämplig för varje marginal, t.ex. Gaussian för verkliga, Gamma för positiva, Poisson för numeriska och Categorical för nominella data. Sedan kunde hon börja undersöka de globala interaktionerna mellan dem, dvs. bestämma de statistiska beroendena mellan olika funktioner. I processen skulle hon också sannolikt hantera saknade värden och resonera om uppgifterna kan vara skadade eller innehålla anomalier. Tyvärr är klassiska metoder för DE, även om allmänt förekommande i ML-tillämpningar, fortfarande långt ifrån att leverera automatiska verktyg som lämpar sig för att utföra alla dessa steg på verkliga data. För det första antar estimatörerna av allmän täthet vanligtvis de statistiska datatyperna och de sannolikhetsmodeller som ska vara kända som en på förhand och homogen över slumpmässiga variabler (RV) eller blandningsmodellkomponenter. Standardmetoden är fortfarande att generellt behandla alla kontinuerliga data som (blandningar av) Gaussiska husvagnar och diskreta data som kategoriska variabler. För det andra antar de antingen "shallow" beroendestrukturer som kan vara alltför förenklade för att fånga verkliga statistiska beroenden eller fixa "djupare" latenta strukturer som inte är lätt att lära sig. Som ett resultat av detta saknar de tillräcklig flexibilitet för att hantera finkorniga statistiska beroenden, och för att vara robusta för att korrumpera data och avvikelser, särskilt när en maximal sannolikhet för lärande används. En Bayesian behandling av DE, å andra sidan, ofta kämpar för att skala upp till högdimensionella data och ungefärliga inference rutiner behövs [15]. CrossCat [21] visar ett tydligt exempel på denna kompromiss. Även om CrossCat-modellerna delpopulationer i data med kontextspecifika latenta variabler, är denna latenta struktur begränsad till en hierarki i två skikt, och även så slutrutiner måste approximeras för effektivitet. Dessutom är den fortfarande begränsad till fasta och homogena statistiska datatyper och därmed sannolikhetsmodeller. Den latenta variabla matrisfaktoriseringsmodell (ISLV) som infördes i [33] är det första försöket att övervinna denna begränsning genom att modellera osäkerhet över de statistiska datatyperna av funktionerna. Men, liksom CrossCat, det kan bara utföra inference naturligt i det transduktiva fallet, d.v.s. till data som finns under utbildningen. Medan ISLV gör det möjligt för domänexperter att härleda datatypen av en funktion, representeras detta fortfarande av en enda ad-hoc sannolikhetsfunktion, förutsatt att alla prover genereras av samma sannolikhetsfamilj. Nyligen har Mixed Sum-Product Networks (MSPN) [23] föreslagits som djupa modeller för heterogena data som kan dra slutsatser även i det induktiva scenariot, dvs. på helt osedda data. MSPN kan faktiskt utnyttja sammanhangsspecifika oberoenden för att lära sig latenta variabla hierarkier som är djupare än CrossCat. MSPN:er antar dock bitvis linjära approximationer som sannolikhetsmodeller för både kontinuerliga och diskreta husvagnar, som inte kan tolkas som parametriska fördelningar och som också kräver kontinuerliga husvagnar för att genomgå en känslig diskretiseringsprocess. Som ett resultat, MSPNs är mycket benägna att översitta, och trots flera legalisering tekniker används, lära dem via maximal sannolikhet resulterar i en brist på robusthet. I detta dokument utnyttjar vi ovanstående modellers fördelar samtidigt som vi tar itu med deras brister genom att föreslå automatisk Bayesian Density Analysis (ABDA). Specifikt, ABDA: i) fångar statistiska beroenden i data på olika granularitet genom en hierarkisk co-clustering av data (partition både funktioner och prover) av en summa-produkt nätverk (SPN), automatiskt lära sig sin rika latent struktur som MSPNs gör; ii) dock, annorlunda från MSPNs, automatiserar det valet av en lämplig sannolikhetsmodell för varje datapartition från som SPNs ger hierarkisk latent ryggrad av ABDA, kommer vi nu kortfattat granska dem. Se [25] för mer information. Stora bokstäver X betecknar husvagnar och små bokstäver deras värden, d.v.s. x X. På samma sätt betecknar vi uppsättningar av husbilar som X, och deras kombinerade värden som x. Representation. En SPN S över en slumpmässig vektor X = {X 1,. ., X D } är en probabilistisk modell definieras via en riktad acyklisk graf. Varje blad nod L representerar en sannolikhetsfördelning funktion över någon delmängd av X-även kallas dess omfattning-och inre noder representerar antingen viktade summor (S) eller produkter (P). Omfattningen av en inre nod N definieras rekursivt som föreningen av omfattningen av sina barns noder, här definieras av ch(S). En summa nod S kodar en blandningsmodell S S (x) = N-ch(S) S,N S N (x) över under-SPNs rotade vid sina barn ch(S). Vi kräver att alla barn av en summa nod delar samma variabel omfattning-detta villkor kallas fullständighet [27]. Vikterna av en summa S, hämtad från standard simplex (dvs., S,N ≥ 0, N påch(S) S,N = 1), betecknas som  på S. En produkt nod P definierar faktorisering S P (x) = N på P på S N (x), över dess barn fördelningar definieras över separata omfattningar-detta villkor kallas dekomposibilitet [27]. Parametrarna för S är den uppsättning av summa vikter  på = { på S} S på och uppsättningen av alla blad fördelning parametrar {H L } L pås. Ett exempel på en SPN-struktur visas i bild. Detta beslut träder i kraft dagen efter det att det har offentliggjorts i Europeiska unionens officiella tidning. Fullständiga och nedbrytbara SPN är inte bara mycket uttrycksfulla djupa modeller-framgångsrikt används i flera ML domäner [26, 22, 28, 35] för att fånga mycket komplexa beroenden i verkliga data-utan gör det också möjligt att utvärdera exakt fullständiga bevis, marginella och villkorliga sannolikheter i linjär tid w.r.t. Deras representationsstorlek [7]. Sent varierande representation.
Dessutom syftar REF till att även härleda den parametriska sannolikhetsmodellen för data och visar sig vara mer robust när det gäller att arbeta med saknade, skadade eller avvikande data.
Automatic Bayesian Density Analysis
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}