Variationella autoencoders (VAEs), liksom andra generativa modeller, har visat sig vara effektiva och korrekta för att fånga den latenta strukturen av stora mängder komplexa högdimensionella data. Befintliga VAEs kan dock fortfarande inte direkt hantera data som är heterogena (blandade kontinuerliga och diskreta) eller ofullständiga (med saknade data slumpmässigt), vilket verkligen är vanligt i verkliga tillämpningar. I detta dokument föreslår vi en allmän ram för att utforma fordonslarmsystem, lämpliga för montering av ofullständiga heterogena data. Den föreslagna HI-VAE innehåller sannolikhetsmodeller för verkliga värden, positiva verkliga värden, intervall, kategoriska, ordinala och räknade data, och gör det möjligt att uppskatta (och potentiellt imputera) saknade data korrekt. Dessutom presenterar HI-VAE konkurrenskraftiga prediktiva prestanda i övervakade uppgifter, modeller med bättre resultat när de är utbildade på ofullständiga data. Data är vanligtvis organiserade och lagras i databaser, som ofta är stora, heterogena, bullriga, och innehåller saknade värden. Till exempel har en webbshoppingplattform tillgång till heterogen och ofullständig information om sina användare, såsom ålder, kön, beställningar, önskelistor osv. På samma sätt kan elektroniska hälsojournaler från sjukhus innehålla olika labbmätningar, diagnoser och genomisk information om sina patienter. Lära generativa modeller som exakt fångar fördelningen, och därför den underliggande latent struktur, av sådana ofullständiga och heterogena dataset kan göra det möjligt för oss att bättre förstå data, uppskatta saknade eller skadade värden, upptäcka avvikelser, och göra förutsägelser (t.ex. om patienters diagnos) om osynliga data (Valera et al., 2017a). Djupa generativa modeller har nyligen visat sig vara mycket flexibla och uttrycksfulla oövervakade metoder, som kan fånga den latenta strukturen hos komplexa högdimensionella data. De emulerar effektivt komplexa distributioner från stora högdimensionella datauppsättningar, generera nya datapunkter som liknar den ursprungliga verkliga data, efter utbildning är klar (Kingma och Welling, 2014; Rezende och Mohamed, 2015). Hittills är huvudfokus i litteraturen att berika tidigare eller senare av explicita generativa modeller såsom variations autoencoders (VAEs), eller att föreslå alternativa utbildningsmål till log-likelihood, vilket leder till implicita generativa modeller såsom, t.ex., generativa adversariala nätverk (Gans) (Mescheder et al., 2017;. Vi bevittnar faktiskt en kapplöpning mellan ett ständigt växande spektrum av VEAE-modeller, t.ex. VAE med en VampPrior (Även om alla dessa metoder konkurrerar om att generera de mest realistiska bilder eller läsbar text, är införandet av sådana modeller för att lösa praktiskt relevanta problem i godtyckliga datauppsättningar, som ofta är ofullständiga och heterogena, förbises. I det följande diskuterar vi dessa problem mer i detalj och varför vi anser att vårt dokument är relevant för dataforskare som är intresserade av att utnyttja den djupa generativa modell pipeline i data wrangling processen. Vi tillhandahåller praktiska verktyg för att hantera både saknade och heterogena data med liten övervakning från användaren, som bara behöver ange datatypmodellen för varje attribut och positionen för de saknade uppgifterna. För närvarande fokuserar de djupa generativa modellerna på högstrukturerade homogena datainsamlingar, t.ex. bilder (Gulrajani et al., 2017; Mescheder et al., 2017; ), text (Yang et al., 2017 eller tal (Bando et al., 2017), som kännetecknas av starka statistiska beroenden mellan pixlar eller ord. Den dominerande befintliga metoden för att redovisa heterogena data följer en djup domänanpassningsmetod, utformad för att upptäcka relationer mellan två oparerade omärkta dataset snarare än att modellera sin gemensamma distribution med hjälp av en probabilistisk generativ modell (Ganin et al., 2016; Kim et al., 2017; Liu et al., 2017; Zhu et al., 2017; Taigman et al., 2016; Castrejon et al., 2016). Förvånansvärt nog har man inte ägnat mycket uppmärksamhet åt att beskriva hur djupgående generativa modeller kan utformas för att effektivt lära sig distributionen av, vanligtvis mindre strukturerade, heterogena dataset. I dessa datauppsättningar finns det ingen klar uppfattning om korrelation mellan de olika attribut (eller dimensioner) som ska utnyttjas genom viktdelning med hjälp av konvolutionella eller återkommande neurala nätverk. Som vi visar i detta dokument är förebyggandet av några få dimensioner av de data som dominerar utbildningen en avgörande aspekt för att effektivt kunna använda djupa generativa modeller som lämpar sig för heterogena data. Det finns inte heller någon tydlig diskussion i den nuvarande litteraturen om hur man införlivar saknade data under utbildningen av djupa generativa modeller. Befintliga metoder överväga antingen fullständiga data under utbildning (Kingma och Welling, 2014; Rezende och Mohamed, 2015; Mescheder et al., 2017;, eller anta ofullständig information endast i en av dimensionerna av data, vilket motsvarar den de syftar till att förutsäga (t.ex., etiketten i en klassificering uppgift) (Sohn et al., 2015; Kingma et al., 2014). Båda tillvägagångssätten är dock inte realistiska nog, eftersom det kan vara avgörande för att en oövervakad modell ska fungera att använda all tillgänglig information under utbildningen. Nyligen, (Yoon et al., 2018) föreslog en GAN-strategi för att mata in saknade data, där generatorn fyller i de saknade värdena med tanke på de observerade, och discriminatorn syftar till att skilja mellan sanna och imputerade värden. Detta tillvägagångssätt kan dock endast hantera kontinuerliga eller binära data, och det är inte lätt att generalisera till heterogena data. Som en följd av detta krävs det fortfarande strategier för att på ett effektivt sätt utbilda djupgående generativa modeller på ofullständiga och heterogena datauppsättningar. I detta arbete presenterar vi en allmän ram för fordonslarmsystem som effektivt innehåller ofullständiga data och heterogena observationer. Vår design presenterar följande funktioner: i) en generativ modell som hanterar blandade numeriska (kontinuerlig real- valued och positiv real- valued, samt diskret räkna data) och nominella (kategoriiska och ordinal data) sannolikhetsmodeller, som vi parametrize med hjälp av djupa neurala nätverk (DNNs); ii) en stabil igenkänningsmodell som hanterar saknade data fullständigt på Random (MCAR) utan att öka sin komplexitet eller främja övermontering; iii) en data-normalisering in / output lager som förhindrar några dimensioner av data som dominerar utbildningen av VAE, förbättra också utbildningskonvergens; och iv) en ELBO (Evidence Lower Bound), används för att optimera parametrarna för både generative och erkännande modeller, som beräknas endast på de observerade data, oberoende av mönstret för saknade data. Den resulterande VEA är en helt oövervakad modell som gör det möjligt för oss att inte bara korrekt lösa oövervakade uppgifter, såsom densitetsuppskattning eller saknade data komplettering, men också övervakade uppgifter (t.ex., klassificering eller regression ) med ofullständiga inmatningsdata. Vi ger läsaren specifika riktlinjer för att designa VAEs för verkliga data, som är kompatibla med moderna insatser i utformningen av VAEs och implicita modeller (GANs), främst inriktade på att förhindra mode-dropping effekt Arora och Zhang, 2017) empiriska resultat visar att vårt förslag överträffar konkurrenter på en heterogen datakomplettering uppgift, och ger jämförbar noggrannhet i klassificeringsuppgifter till djupt övervakade metoder-som inte kan hantera saknade värden i indata, därför kräver imputing saknade indata i data.
En tidigare studie REF utnyttjade VEAS för att generera stokastisk imputation uppskattningar genom att utnyttja fördelningen och korrelationer av funktioner i latent utrymme.
Handling Incomplete Heterogeneous Data using VAEs
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}