Vi introducerar Pitman Yor Diffusion Tree (PYDT) för hierarkisk klusterbildning, en generalisering av Dirichlet Diffusion Tree (Neal, 2001 ) som tar bort begränsningen till binär grenning struktur. Den generativa processen beskrivs och visas resultera i en utbytbar fördelning över datapunkter. Vi bevisar några teoretiska egenskaper hos modellen och sedan presentera två inference metoder: en kollapsad MCMC sampler som gör att vi kan modellera osäkerhet över trädstrukturer, och en beräkningseffektiv girig Bayesian EM sökalgoritm. Båda algoritmerna använder meddelande som vidarebefordrar trädstrukturen. Nyttan av modellen och algoritmer demonstreras på syntetiska och verkliga data, både kontinuerlig och binär. Trädstrukturer spelar en viktig roll för maskininlärning och statistik. Att lära sig en trädstruktur över datapunkter ger en enkel bild av hur objekt av intresse är relaterade. Träd är lätttolkade och intuitiva att förstå. Ibland kanske vi vet att det finns en verklig underliggande hierarki: till exempel arter i livets träd eller dubbletter av gener i det mänskliga genomet, så kallade paraloger. Typiska blandningsmodeller, såsom Dirichlet Process blandningsmodeller, har oberoende parametrar för varje komponent. Vi kan till exempel förvänta oss att vissa kluster är likartade, till exempel är undergrupper i någon stor grupp. Genom att lära sig denna hierarkiska likhetsstruktur, kan modellen dela statistisk styrka mellan komponenter för att göra bättre uppskattningar av parametrar med hjälp av mindre data. Klassiska hierarkiska klusteralgoritmer använder sig av en nedifrån-och-upp "agglomerativ" metod (Duda et al., 2001 ) som döljer de statistiska antaganden som görs. Heller och Ghahramani (2005) använder en principiell probabilistisk modell i stället för ett avståndsmått, men ser helt enkelt hierarkin som ett träd konsekvent blandning över partitioner av data. Om istället en full generativ modell för både trädstrukturen och data används (Williams, 2000; Neal, 2003b; Teh et al., 2008; Blei et al., 2010) Bayesian inference maskiner kan användas för att beräkna bakre fördelningar över träden strukturer själva. Sådana modeller kan också användas för att lära sig hierarkier över latenta variabler (Rai och Daumé III, 2008). Både heuristiska och generativa probabilistiska metoder för att lära hierarkier har fokuserat på att lära binära träd. Även om det är praktiskt att beräkna denna begränsning kan det vara oönskat: där så är lämpligt ger godtyckliga träd en mer uttydbar, ren sammanfattning av uppgifterna. En del av det senaste arbetet har syftat till att ta itu med detta. Blundell m.fl. (2010) förlänga Heller och Ghaharamani (2005) genom att ta bort begränsningen till binära träd. Men när det gäller Heller och Ghahramani (2005) förbjuder avsaknaden av en generativ process modellering av osäkerhet över trädstrukturer. Williams (2000) tillåter icke-binära träd genom att ha varje nod självständigt plocka en förälder i lagret ovan, men kräver en att förspecificera antalet lager och antal noder i varje lager. Blei m.fl. (2010) använda den bofasta kinesiska restaurangprocessen för att definiera sannolikhetsfördelningar över trädstrukturer. Varje datapunkt hämtas från en blandning över parametrarna på banan från roten till datapunkten, vilket är lämpligt för modeller med blandat medlemskap men inte standardkluster. Ett alternativ till PYDT för att erhålla obundna träd ges av Adams et al. (2010)................................................................. De använder en inbäddad stick-brytande process för att konstruera trädet, som sedan förses med en diffusionsprocess. Data lever på interna noder av trädet, snarare än på blad som i PYDT. Vi introducerar Pitman Yor Diffusion Tree (PYDT), en generalisering av Dirichlet Diffusion Tree (Neal, 2001) till träd med godtycklig förgrening struktur. Samtidigt som atomer tillåts i divergerande funktion av
En generalisering av Dirichlet diffusion träd till godtyckliga förgrening grader uppnås av Pitman-Yor diffusion träd REF.
Pitman-Yor Diffusion Trees
{'venue': 'UAI', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}