ინფორმაციის რაოდენობა
ინფორმაციის რაოდენობა ინფორმაციის თეორიაში არის ზომა იმისა თუ რამდენად ბევრი ინფორმაცია მივიღეთ, როდესაც შევიტყვეთ მოცემული მოვლენის მოხდენის შესახებ. ინფორმაციის რაოდენობა დამოკიდებულია მხოლოდ მოცემული მოვლენის ალბათობა p-ზე და იგი გამოისახება შემდეგი სახით: I = − l o g ( p ) , {\displaystyle I=-log(p),} სადაც I ინფორმაციის რაოდენობაა. ინფორმაციის რაოდენობა იზომება ბიტებში. ერთი ბიტი ინფორმაცია ტოლია ინფორმაციის, რომელიც შეესაბამება 1/2 ალბათობის მქონე მოვლენის მოხდენას. თუ არ ვიცით რამდენიმე მოვლენიდან რომელი მოხდება ვართ გაურკვევლობის წინაშე. როდესაც გავიგებთ ამ მოვლენებიდან რომელი მოხდა მივიღებთ რაღაც რაოდენობის ინფორმაციას. ეს ინფორმაცია შეიძლება იყოს ცვლადი, იმის მიხედვით რომელი მოვლენა მოხდება, რადგან მათ შეიძება სხვადასხვა ალბათობა ჰქონდეთ. ინფორმაციის საშუალო რაოდენობას, რომელსაც მივიღებთ როდესაც გავიგებთ მოვლენებიდან რომელი მოხდა, გაურკვევლობასთან დაკავშირებული ენტროპია ეწოდება.