Det blir allt viktigare att sprida kunskap om probabilistiska modeller från flera databaser med minimal kommunikation. Vi studerar en enkel kommunikationseffektiv inlärningsram som först beräknar de lokala uppskattningarna av maximal sannolikhet (MLE) baserat på dataundergrupper, och sedan kombinerar de lokala MLE för att uppnå bästa möjliga approximation till den globala MLE med tanke på hela datauppsättningen. Vi studerar detta ramverks statistiska egenskaper, som visar att effektivitetsförlusten jämfört med den globala inställningen relaterar till hur mycket de underliggande distributionsfamiljerna avviker från fullständiga exponentiella familjer, med koppling till teorin om informationsförlust av Fisher, Rao och Efron. Vi visar att "fullständig-exponentiell-familj-het" representerar den nedre gränsen av felfrekvensen av godtyckliga kombinationer av lokala MLEs, och uppnås med en KL-divergence-baserad kombinationsmetod men inte med en mer vanlig linjär kombinationsmetod. Vi studerar också de empiriska egenskaperna hos båda metoderna, vilket visar att KL-metoden avsevärt överträffar linjär kombination i praktiska miljöer med frågor som modellfelspecifikation, icke-konvexitet och heterogena datapartitioner.
REF-studien distribuerade uppskattningen i statistiska exponentiella familjer, vilket visar att effektivitetsförlusten jämfört med den globala situationen hänger samman med hur mycket de underliggande distributionerna avviker från fullständiga exponentiella familjer.