Vi presenterar en strategi för modellbaserad hi erarchisk klustring genom att formulera en objektiv funktion baserad på en Bayesian anal ysis. Denna modell organiserar data i en klusterhierarki samtidigt som den anger en komplex partitionering med funktioner som är en viktig del av vår modell. Funktioner kan ha antingen en unik distribution i varje kluster eller en gemensam distribution över vissa (eller till och med alla) av kluster. De undergrupper av kluster över vilka dessa funktioner har en sådan gemensam spridning motsvarar noderna (kluster) i trädet som representerar hierarkin. Vi tillämpar denna allmänna modell på problemet med dokumentkluster för vilka vi använder en multino mial sannolikhetsfunktion och Dirichlet priors. Vår algoritm består av en tvåstegs process där vi först utför en platt klusterering följt av en modifierad hierarkisk agglom erativ sammanslagningsprocess som inkluderar motverka gruvdrift de funktioner som kommer att ha gemensamma distributioner över de sammanslagna kluster. Den legalisering som framkallas genom att använda marginalsannolikheten bestämmer automatiskt op timalmodellens struktur inklusive antal kluster, trädets djup och delmängd av funktioner som ska modelleras som att ha en gemensam fördelning vid varje nod. Vi presenterar experimentella resultat på både syntetiska data och en verklig dokumentsamling. Dessutom har en modellbaserad HAC-algoritm baserad på en multinomisk blandningsmodell utvecklats [9]. I resten av tidningen kommer våra hänvisningar till HAC att vara till den version av HAC som används i en sannolikhetsinställning som beskrivs ovan. I synnerhet kommer vi att koncentrera oss på multinomala blandningsmodeller. Andra hierarkiska kluster algoritmer i litera ture inkluderar [8], som beskriver ett system för att charac terize textsamlingar hierarkiskt baserat på en avskräckande ministisk glödgning algoritm. I denna modell, förutom de latenta variabler som används för att samla dokumenten i basen av hierarkin, används ytterligare latenta variabler för att definiera mellanliggande noder. Dessa ytterligare latenta variabler (kallade abstraction noder) modellerar de villkorliga sannolikheterna för orden. Reglering uppnås genom att maximera sannolikheten för en separat valideringsdatauppsättning. Som kommer att ses skiljer sig vår modell avsevärt från det arbete som beskrivs i [8]. För det första är endast en del av funktionen uppsättningen modelleras vid de mellanliggande noderna i hierarkin (valet av dessa funktioner är en del av modellvalet). Detta kan dramatiskt minska antalet justerbara pa rameter i modellen, särskilt i samband med mycket högdimensionella data. För det andra, legalisering uppnås genom att integrera över parametervärden på ett Bayesiskt sätt. Detta gör det möjligt för modellen att utnyttja hela datauppsättningen i modellbyggnaden (dvs. Ingen validering krävs. Dessutom använder den tvåstegsalgoritm som beskrivs i detta dokument endast den tillräckliga statistik som beräknas i det första steget under sammanslagningsprocessen och kan därför vara beräkningsmässigt billigare. Den probabilistiska modell som utvecklats i detta papper orga-
Bland dessa föreslog REF en metod inom ramen för Bayesian analys.
Model-Based Hierarchical Clustering
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}