Detta dokument visar hur glesa, högdimensionella sannolikhetsfördelningar kan representeras av neuroner med exponentiell kompression. Representationen är en ny tillämpning av kompressiv avkänning för att glesa sannolikhetsfördelningen snarare än för de vanliga glesa signalerna. De komprimerande mätningarna motsvarar förväntade värden för ickelinjära funktioner hos de probabilistiskt fördelade variablerna. När dessa förväntade värden uppskattas genom provtagning begränsas kvaliteten på den komprimerade representationen endast av provtagningens kvalitet. Eftersom kompressionen bevarar den geometriska strukturen av utrymmet för glesa sannolikhetsfördelningar, kan probabilistisk beräkning utföras i den komprimerade domänen. Intressant nog kan funktioner som uppfyller kraven för kompressiv avkänning implementeras som enkla perceptroner. Om vi använder perceptroner som en enkel modell av feedforward beräkning av neuroner, dessa resultat visar att den genomsnittliga aktiviteten hos ett relativt litet antal neuroner kan exakt representera en högdimensionell ledfördelning implicit, även utan att redovisa några buller korrelationer. Detta omfattar en ny hypotes om hur neuroner kan koda sannolikheter i hjärnan.
I REF studeras en komprimerad representation av glesa sannolikhetsfördelningar över flerdimensionella binära vektorer.
Compressive neural representation of sparse, high-dimensional probabilities
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics', 'Biology']}