Neurala nätverk (NN) har uppnått toppmoderna resultat i olika tillämpningar. Tyvärr i tillämpningar där utbildningsdata är otillräckliga, de är ofta benägna att översitta. Ett effektivt sätt att lindra detta problem är att utnyttja Bayesian strategi genom att använda Bayesian neurala nätverk (BNN). En annan brist med NN är bristen på flexibilitet att anpassa olika fördelningar för vikter och neuroner enligt data, som ofta görs i probabilistiska grafiska modeller. För att ta itu med dessa problem föreslår vi en klass av probabilistiska neurala nätverk, dubbade naturliga parameternätverk (NPN), som en ny och lätt Bayesian behandling av NN. NPN gör det möjligt att använda godtyckliga exponentiellt-familj fördelningar för att modellera vikter och neuroner. NPN skiljer sig från traditionella NN och BNN, tar distributioner som ingång och går igenom lager av transformation innan man producerar distributioner för att matcha målutgång distributioner. Som en Bayesian behandling, effektiv backpropagation (BP) utförs för att lära sig de naturliga parametrarna för fördelningen över både vikter och neuroner. Utgångsfördelningen för varje skikt, som biprodukter, får användas som andra ordningens representationer för de tillhörande uppgifterna, t.ex. länkförutsägelse. Experiment på verkliga datauppsättningar visar att NPN kan uppnå toppmoderna prestanda.
Wang m.fl. I REF föreslås naturliga parameternätverk (NPN), som behandlar inflöden, mål, vikter och neuroner probabilistiskt genom exponentiella familjedistributioner, t.ex. antar en Gaussisk fördelning för både vikter och aktiveringar.
Natural-Parameter Networks: A Class of Probabilistic Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}