Spektral klustring är en ledande och populär teknik i oövervakad dataanalys. Två av dess större begränsningar är skalbarhet och generalisering av spektral inbäddning (dvs. ut-of-prove-extension). I detta dokument introducerar vi en djupinlärningsstrategi för spektralkluster som övervinner ovanstående brister. Vårt nätverk, som vi kallar SpectralNet, lär sig en karta som inbäddar indatapunkter i eigenrymden för deras tillhörande graf Laplacian matris och därefter kluster dem. Vi tränar SpectralNet med en procedur som innebär begränsad stokastisk optimering. Stochastic optimering gör det möjligt att skala till stora datauppsättningar, medan begränsningarna, som genomförs med hjälp av en speciell utdatalager, gör att vi kan hålla nätverksutgången ortogonal. Dessutom, kartan lärs av SpectralNet naturligt generaliserar spektral inbäddning till osynliga datapunkter. För att ytterligare förbättra kvaliteten på kluster, ersätter vi standard parvis Gaussian affinities med affinities lutade från omärkta data med hjälp av ett Siamese nätverk. Ytterligare förbättringar kan uppnås genom att nätverket tillämpas på kodrepresentationer som produceras, t.ex. med hjälp av vanliga autokodare. Vår inlärningsprocedur är helt oövervakad. Dessutom tillämpar vi VC-dimensionteori för att härleda en lägre gräns på storleken på SpectralNet. Toppmoderna klusterresultat rapporteras om datauppsättningen Reuters. Vårt genomförande är offentligt tillgängligt på https://github.com/kstant0725/SpectralNet. * Lika lön. arXiv:1801.01587v3 [stat.ML] 31 jan 2018 2 RELATERAT ARBETE Nyligen djupt lärande metoder för klusterering försöker till stor del lära sig en kod för indata som är amenable till klustering enligt antingen k-means eller blandning av gaussians kluster modeller. DCN (Yang et al., 2017) optimerar direkt en förlust som består av en rekonstruktionsterm (för koden) och k-medel fungerar. DEC (Xie et al., 2016) uppdaterar iterativt en målfördelning för att slipa klusterföreningar. DEPICT (Dizaji et al., 2017) lägger till en legaliseringsterm som föredrar balanserade kluster. Alla tre metoderna är förträngda som autokodare, medan DEPICT också initierar sin målfördelning med hjälp av k-medel (eller andra vanliga klusteralgoritmer). Flera andra nyligen tillvägagångssätt förlitar sig på en variationell autoencoder som använder en Gaussian blandning tidigare, se till exempel,
Arbetet i REF, som kallas SpectralNet, lär sig en icke-linjär karta som inbäddar data pekar in i eigenrymden av deras tillhörande graf Laplacian matris, och därefter kluster dem.
SpectralNet: Spectral Clustering using Deep Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}