Att skilja två sannolikhetsfördelningar från en blandningsmodell som består av de två kombinationerna är viktigt för ett brett spektrum av tillämpningar. Till exempel, i informationssökning (IR), finns det ofta en blandningsfördelning som består av en relevansfördelning som vi behöver uppskatta och en irrelevansfördelning som vi hoppas bli av med. Nyligen föreslogs en distributionsseparationsmetod (DSM) för att approximera den relevanta distributionen, genom att skilja ett utsäde från distributionen av blandningen irrelevans. Det tillämpades framgångsrikt på en IR-uppgift, nämligen pseudo-relevans feedback (PRF), där frågeexpansionsmodellen ofta är en blandning termfördelning. Även om den ursprungligen utvecklades i samband med IR, DSM är verkligen en allmän matematisk formulering för sannolikhetsfördelning separation. Därför är det viktigt att ytterligare generalisera sin grundläggande analys och att utforska dess kopplingar till andra relaterade metoder. I denna artikel utvidgar vi först DSM:s teoretiska analys, som ursprungligen baserades på Pearsons korrelationskoefficient, till entropirelaterade åtgärder, inklusive KL-divergensen (Kullback-Leibler divergens), den symmetriska KL-divergensen och JS-divergensen (Jensen-Shannon divergensen). För det andra undersöker vi idén om distributionsseparation i en välkänd metod, nämligen metoden med blandningsmodellåterkoppling (MMF). Vi bevisar att penningmarknadsfonden också överensstämmer med antagandet om linjär kombination, och då kan DSM:s linjära separationsalgoritm i stor utsträckning förenkla EM-algoritmen i penningmarknadsfonden. Dessa teoretiska analyser samt ytterligare empiriska utvärderingsresultat visar fördelarna med vår DSM-strategi. Entropi 2016, 18, 105 2 av 21 snarare än den verkliga relevansfördelning som ska härledas från de verkligt relevanta dokumenten. Den senaste tidens forskning om återkoppling av negativ relevans har försökt att använda irrelevanta dokument för att förbättra hämtningsprestandan [3] [4] [5]. Genom att anta att en uppsättning frö irrelevanta dokument finns tillgängliga, har en distribution separationsmetod (DSM) föreslagits i vårt tidigare arbete [6]. Med tanke på en blandningsdistribution och en distribution av utsäde irrelevans syftar DSM i huvudsak till att uppnå en approximation av den verkliga relevansfördelningen, med andra ord att skilja den irrelevansfördelningen från blandningen. Det har visats i [6] att det teoretiskt sett är mer allmänt att skilja den orelevanta distributionen från blandningsdistributionen, jämfört med det direkta avlägsnandet av irrelevanta dokument, och praktiskt taget har lett till bättre resultat. Formuleringen av DSM baserades på två antaganden, nämligen antagandet om linjär kombination och antagandet om minsta korrelation. Den förstnämnda antar att blandningstermen fördelning är en linjär kombination av relevans och irrelevansfördelning, medan den senare antar att relevansfördelningen bör ha en minsta korrelation med den irrelevansfördelningen. DSM gav en lägre bundet analys för den linjära kombinationskoefficienten, baserad på vilken den önskade relevansfördelningen kan uppskattas. Det har också bevisats att den lägre gränsen för den linjära kombinationskoefficienten motsvarar villkoret i den minsta korrelationskoefficienten för Pearson mellan DSM:s distribution av produktionsrelevans och distributionen av det ingående utsädet irrelevans. Även om den ursprungligen utvecklades i samband med IR, DSM är verkligen en allmän matematisk formulering för sannolikhetsfördelning separation. Separationsalgoritm och analys av DSM är inte begränsade till frågetermfördelningar eller andra distributioner för IR-uppgifter. Det är därför viktigt att ytterligare undersöka dess teoretiska egenskaper och göra det mer allmänt. I denna artikel föreslår vi att generalisera DSM:s teoretiska analys, som ursprungligen baserades på Pearsons korrelationskoefficient, till entropirelaterade mätningar, särskilt KL-divergensen och två varianter. Dessutom undersöker vi idén om distributionsseparation i en allmänt använd metod, dvs. blandningsmodellens återkoppling (MMF) [7]. Teoretisk analys har visat att den linjära separationsalgoritmen i DSM kan tillämpas för att förenkla EM-algoritmen i penningmarknadsfonder. De särskilda beskrivningarna av ovanstående bidrag är följande. För det första undersöker vi DSM:s effekt på KL-divergensen mellan DSM:s uppskattade relevansfördelning och fröets irrelevansfördelning. I avsnitt 3 visar vi att DSM:s nedre gränsanalys också kan utvidgas till KL-divergens, och den minsta korrelationskoefficienten motsvarar den maximala KL-divergensen. Vi bevisar vidare att den minskande korrelationskoefficienten också leder till den maximala symmetriiserade KL-divergensen, liksom den maximala JS-divergensen mellan DSM:s produktionsfördelning och utsädets orelevansfördelning. Dessa utökade analyser berikar DSM:s egna teoretiska egenskaper. För det andra undersöker vi relationen mellan DSM och blandningsmodellåterkopplingen (MMF) [7]. I avsnitt 4 visar vi att antagandet om linjär kombination är giltigt i penningmarknadsfonder, och den EM-baserade iterativa algoritmen för penningmarknadsfonder är i huvudsak en distributionsseparationsprocess. Således kan dess iterativa steg i stor utsträckning förenklas av den linjära separationsalgoritmen (se Ekvation (2)) som utvecklats i DSM. Jämfört med penningmarknadsfonder med en empiriskt tilldelad kombinationskoefficient är dessutom DSM:s kombinationskoefficient analytiskt härledd och adaptiv för varje fråga. De experimentella resultaten när det gäller hämtningsprestanda och driftskostnader har visat fördelarna med vår DSM-strategi.
Vi generaliserar även DSM:s teoretiska analys genom att tillhandahålla ytterligare KL-divergensanalys i REF.
Generalized Analysis of a Distribution Separation Method
{'venue': 'Entropy', 'journal': 'Entropy', 'mag_field_of_study': ['Mathematics', 'Computer Science']}