Även om Shannons informationsteori är synnerligen framgångsrik när det gäller överföring av data, behandlar den inte semantiska och subjektiva dimensioner av data, såsom relevans och överraskning. Vi föreslår en observatörsberoende beräkningsteori för överraskning där överraskningen bestäms av den relativa e n tropy b e t ween föregående och bakre fördelningar av en observatör. Överraskning kräver integration över utrymmet för modeller i kontrast till Shannons entropi, vilket kräver integration över utrymmet för data. Vi visar hur överraskning kan beräknas exakt i ett antal diskreta och kontinuerliga fall med hjälp av distributioner från den exponentiella familjen med konjugat tidigare. Vi s h o w som under sekventiell Bayesian lärande, överraskning minskar som 1 = N och studera hur överraskning di ers och kompletterar Shannons denition av information.
Baldi införde en beräkningsteori av överraskning där överraskning definieras av den relativa entropi mellan föregående och den bakre fördelningen av en observatör REF.
A Computational Theory of Surprise
{'venue': 'Information, Coding and Mathematics', 'journal': 'Information, Coding and Mathematics', 'mag_field_of_study': ['Computer Science']}