Vi presenterar en ny inferensalgoritm för godtyckliga, binära, oriktade grafer. Till skillnad från slingrig trosutbredning, som itererar fasta punktekvationer, går vi direkt ner på Betefri energi. Algoritmen består av två faser, först uppdaterar vi de pairwise sannolikheterna, med tanke på de m arginala probabila kopplingarna vid varje enhet, med hjälp av en analytisk expression. Nästa, vi uppdaterar marginal sannolikheter, Genom att följa den negativa lutningen av Bete fri energi. Båda stegen är guar anteed att minska Bete fri energi, och eftersom det är lägre avgränsade, algoritmen garanteras att konvergera till ett lokalt minimum. Vi visar också att Bethe fri energi är lika med TAP fri energi upp till andra ordningen i vikterna. I experiment bekräftar vi att när trosförökning konvergerar finner den vanligtvis identiska lösningar som vår be lief optimeringsmetod. Trosoptimeringens stabila natur gör den idealisk för att lära sig grafiska modeller från data. Trosutbredning (BP) är en effektiv lokal meddelande passerar protokoll för exakt inferens på träd (Pearl, 1988). Att tillämpa samma regler på grafer med cykler, namngivna loopy BP, har visat sig vara en framgångsrik strategi för ungefärlig inferens (Murphy et a!., 1999). I synnerhet visades det att den ce lebrerade metoden för "turboavkodning" är likvärdig med loopy BP på en ap propriate grafisk modell (M cEliece et a!., 1998), (Frey och MacKay, 1997). Andra tillämpningar finns i bildanalys (Freeman och Pasztor, 1998), (Frey, 1999 ). En viktig nackdel med loopy BP är att det kan easy misslyckas med att konvergera (t.ex. Det kan fastna i gräns cy- En attraktiv egenskap av loopy BP är det faktum att det utför lokala beräkningar för att hitta en lösning som är ungefär optimal globalt. Lösningar till Bethe approximationen kan vara underst ood som genomsnittliga fältlösningar, i att par av noder interagerar med ett medelfält som genereras från resten av systemet. Eftersom detta måste vara st ue för alla par av noder, leder detta till konsekvens ekvationer som motsvarar BP-uppdateringar. Ytterligare ett sätt att härleda BP ekvationerna är genom "cav ity-metoden", där man beräknar effekten av att ta en nod och dess anslutningar ut ur systemet (Opper och Winther, 2000). Problemet med en uppsättning konsekvensekvationer är att de inte är garanterade att konvergera. Ett mer stabilt tillvägagångssätt är att minimera en objektiv funktion om det finns en. Eftersom vi vet att BP konvergerar till stationära punkter av Bethe fri energi, verkar det naturligt att härleda en algoritm som minimerar det direkt. Detta är just det tillvägagångssätt som används i detta dokument. Framsteg kan göras särskilt för binära nät verk, eftersom de tillåter en bekväm parameterisering som undviker det vanliga behovet av Lagrange multiplikatorer. Dessutom kan vi i binärfallet hitta ett analytiskt uttryck för korrelationerna p(s; = 1, Sj = 1) i termer av marginalerna p(si = 1) och p(sj = 1). Detta resultat kan användas för att formulera lutning nedstigning eller fasta punktuppdateringar för marginalerna i termer av angränsande marginaler och anslutningsvikter.
Ett viktigt bidrag REF visade att Bethe fri energi av en binär pairwise MRF kan betraktas som en funktion endast av singleton marginaler, men denna anslutning tillhandahölls utan konvergens resultat.
Belief Optimization for Binary Networks: A Stable Alternative to Loopy Belief Propagation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}