Kunskap upptäckt från data är en inneboende iterativ process. Det är vad vi vet om uppgifterna som i hög grad avgör våra förväntningar, och därför vilka resultat vi skulle finna intressanta och/eller överraskande. Med ny kunskap om uppgifterna kommer våra förväntningar att förändras. För att undvika överflödiga resultat bör därför algoritmer för upptäckt av kunskap helst följa ett sådant iterativt uppdateringsförfarande. Med detta i åtanke introducerar vi en välgrundad strategi för att kortfattat sammanfatta data med de mest informativa artiklar; med hjälp av en probabilistisk maximal entropi modell, hittar vi iterativt det itemset som ger oss den mest nya informationen-det vill säga, för vilket frekvensen i data överraskar oss mest och i sin tur uppdaterar vi vår modell i enlighet därmed. Eftersom vi använder den maximala entropiprincipen för att få fram opartiska probabilistiska modeller, och endast inkluderar de artiklar som är mest informativa med avseende på den nuvarande modellen, är de sammanfattningar vi konstruerar garanterat både beskrivande och icke-redundanta. Algoritmen som vi presenterar, kallad MTV, kan antingen upptäcka top-k mest informativa objekt, eller vi kan använda antingen Bayesian Information Criterion (BIC) eller minimibeskrivning längd (MDL) princip för att automatiskt identifiera uppsättningen objekt som tillsammans sammanfattar data väl. Med andra ord, vår metod kommer att "berätta för dig vad du behöver veta" om data. Viktigt är att det är en enfasalgoritm: snarare än att plocka itemets från en användartillhandahållen kandidatuppsättning, är itemetset och deras stöd mined on-the-fly. För att främja dess tillämplighet tillhandahåller vi en effektiv metod för att beräkna den maximala entropidistributionen med hjälp av Quick Inclusion-Exclusion. Experiment på vår metod, med hjälp av syntetiska, riktmärken, och verkliga data, visar att de upptäckta sammanfattningarna är koncisa, och korrekt identifiera nyckelmönstren i data. De modeller de bildar uppnår höga sannolikheter, och inspektion visar att de sammanfattar data väl med allt mer specifika, men icke-redundanta objekt.
MTV REF använder MDL tillsammans med en maximal entropi (MaxEnt) modell för att bryta de mest informativa artiklar.
Summarizing data succinctly with the most informative itemsets
{'venue': 'TKDD', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}