Inlämningsmetoder står i centrum för många algoritmer för oövervakad inlärning och klustring - särskilt den välkända K -mean.! och E:z: spectation-Mazimi$ation (EM) algoritmer. I detta arbete studerar vi flera olika metoder för uppdrag, bland annat de "hårda" uppdrag som används av K-means och de "mjuka" uppdrag som används av EM. Även om det är känt att K-means minimerar förvrängningen på data och EM maximerar sannolikheten, är lite känt om de systematiska skillnaderna i beteende mellan de två algoritmerna. Här kastar vi ljus över dessa skillnader genom en informationsteoretisk analys. Hörnstenen i våra resultat är en enkel dekom position av den förväntade snedvridningen, som visar att K-medel (och dess förlängning för att härleda generala parametriska densiteter från omärkta provdata) implicit måste hantera en avvägning mellan hur liknande de data som tilldelas varje kluster är, och hur data balanseras mellan kluster. Hur väl datan är balanserad är mea säker på partitionens entropi som definieras av de hårda uppdragen. Förutom att låta oss förutsäga och verifiera systematiska skillnader mellan K-medel och EM på specifika exempel, gör de kompositionen att vi kan ge en ganska allmän uppfattning som visar att K-medel konsekvent kommer att hitta densiteter med mindre "överlappning" än EM. Vi studerar också en tredje naturlig uppdragsmetod som vi kallar pr)IJterior uppdrag, som är nära i anden till mjuka uppdrag av EM, men leder till en förvånansvärt annorlunda algoritm.
Kearns m.fl. REF ger en informationsteoretisk analys av hårda uppdrag (används med Ö-medel) och mjuka uppdrag (används av EM-algoritm) för klusterbildning och föreslår en bakre partitionsalgoritm som ligger nära de mjuka tilldelningarna av EM för klusterbildning.
An Information-Theoretic Analysis of Hard and Soft Assignment Methods for Clustering
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}