ਐਨਟ੍ਰੌਪੀ (ਇਨਫ੍ਰਮੇਸ਼ਨ ਥਿਊਰੀ)
ਇਨਫ੍ਰਮੇਸ਼ਨ ਥਿਊਰੀ ਅੰਦਰ, ਸਿਸਟਮ ਇੱਕ ਟ੍ਰਾਂਸਮਿੱਟਰ, ਚੈਨਲ, ਅਤੇ ਰਿਸੀਵਰ ਰਾਹੀਂ ਮਾਡਲਬੱਧ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਟ੍ਰਾਂਸਮਿੱਟਰ ਅਜਿਹੇ ਸੰਦੇਸ਼ ਪੈਦਾ ਕਰਦਾ ਹੈ ਜੋ ਚੈਨਲ ਰਾਹੀਂ ਗੁਜ਼ਾਰ ਕੇ ਭੇਜੇ ਜਾਂਦੇ ਹਨ। ਚੈਨਲ ਸੰਦੇਸ਼ ਨੂੰ ਕਿਸੇ ਤਰੀਕੇ ਸੋਧ ਦਿੰਦਾ ਹੈ। ਰਿਸੀਵਰ ਅਨੁਮਾਨ ਲਗਾਉਣ ਦਾ ਯਤਨ ਕਰਦਾ ਹੈ ਕਿ ਕਿਹੜਾ ਸੰਦੇਸ਼ ਭੇਜਿਆ ਗਿਆ ਸੀ। ਇਸ ਸੰਦ੍ਰਣ ਵਿੱਚ, ਐਨਟ੍ਰੌਪੀ (ਹੋਰ ਵਿਸ਼ੇਸ਼ਤੌਰ ਤੇ, ਸੈਨੋਨ ਐਨਟ੍ਰੌਪੀ) ਹਰੇਕ ਸੰਦੇਸ਼ (ਮੈਸਜ) ਵਿੱਚ ਰੱਖੀ ਜਾਣਕਾਰੀ (ਇਨਫ੍ਰਮੇਸ਼ਨ) ਦਾ ਉਮੀਦ ਮੁੱਲ (ਔਸਤ) ਹੁੰਦੀ ਹੈ। ਜਾਣਕਾਰੀ ਦੇ ਕਿਸੇ ਵੀ ਪ੍ਰਵਾਹ ਰਾਹੀਂ ਸੰਦੇਸ਼ਾਂ ਦੇ ਮਾਡਲ ਬਣਾਏ ਜਾ ਸਕਦੇ ਹਨ। ਇੱਕ ਹੋਰ ਜਿਆਦਾ ਤਕਨੀਕੀ ਸਮਝ ਵਿੱਚ, ਸੂਚਨਾ ਨੂੰ ਸੰਭਵ ਘਟਨਾਵਾਂ ਜਾਂ ਸੰਦੇਸ਼ਾਂ ਦੀ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਡਿਸਟ੍ਰੀਬਿਊਸ਼ਨ ਦੇ ਲੌਗਰਿਥਮ ਦੇ ਨੈਗਟਿਵ ਦੇ ਤੌਰ ਤੇ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨ ਦੇ ਕਾਰਨ ਹਨ (ਜੋ ਥੱਲੇ ਲਿਖੇ ਗਏ ਹਨ)। ਹਰੇਕ ਘਟਨਾ ਦੀ ਸੂਚਨਾ ਦੀ ਮਾਤਰਾ ਇੱਕ ਮਨਚਾਹਿਆ ਵੇਰੀਏਬਲ ਰਚਦੀ ਹੈ ਜਿਸਦਾ ਉਮੀਦ ਮੁੱਲ, ਜਾਂ ਔਸਤ, ਸੈਨੌਨ ਐਨਟ੍ਰੌਪੀ ਹੁੰਦੀ ਹੈ। ਐਨਟ੍ਰੌਪੀ ਦੀਆਂ ਯੂਨਿਟਾਂ ਸ਼ੇਨੌਨ, ਨਾਟ, ਜਾਂ ਹ੍ਰਟਲੇ ਹਨ, ਜੋ ਇਸਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨ ਲਈ ਵਰਤੇ ਜਾਂਦੇ ਲੌਗਰਿਥਮ ਦੇ ਬੇਸ ਤੇ ਨਿਰਭਰ ਕਰਦੀਆਂ ਹਨ, ਭਾਵੇਂ ਸ਼ੇਨੌਨ ਨੂੰ ਸਾਂਝੇ ਤੌਰ ਤੇ ਇੱਕ ਬਿਟ ਕਿਹਾ ਜਾਂਦਾ ਹੈ। ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਡਿਸਟ੍ਰੀਬਿਊਸ਼ਨ ਦਾ ਲੌਗਰਿਥਮ ਐਨਟ੍ਰੌਪੀ ਦੇ ਇੱਕ ਨਾਪ ਦੇ ਤੌਰ ਤੇ ਫਾਇਦੇਮੰਦ ਰਹਿੰਦਾ ਹੈ ਕਿਉਂਕਿ ਇਹ ਸੁਤੰਤਰ ਸੋਮਿਆਂ ਵਾਸਤੇ ਜੋੜਾਤਮਿਕ ਹੁੰਦਾ ਹੈ। ਉਦਾਹਰਨ ਦੇ ਤੌਰ ਤੇ, ਕਿਸੇ ਸਿੱਕੇ ਦੇ ਉਛਾਲਨ ਤੇ ਐਨਟ੍ਰੌਪੀ 1 ਸੈਨੋਨ ਹੁੰਦੀ ਹੈ, ਜਿੱਥੇ ਕਿ m ਗਣਿਤ ਦੇ ਉਛਾਲਾਂ ਲਈ ਇਹ m ਸ਼ੈਨੋਨ ਹੁੰਦੀ ਹੈ। ਸਰਵ ਸਧਾਰਨ ਤੌਰ ਤੇ, ਕਿਸੇ ਵੇਰੀਏਬਲ ਨੂੰ ਪ੍ਰਸਤੁਤ ਕਰਨ ਲਈ ਤੁਹਾਨੂੰ log2(n) ਬਿਟਾਂ ਦੀ ਜਰੂਰਤ ਪੈਂਦੀ ਹੈ ਜੋ n ਮੁੱਲਾਂ ਵਿੱਚੋਂ ਇੱਕ ਮੁੱਲ ਲੈ ਸਕਦੇ ਹਨ ਜੇਕਰ n, 2 ਦੀ ਇੱਕ ਘਾਤ (ਪਾਵਰ) ਹੋਵੇ। ਜੇਕਰ ਇਹ ਮੁੱਲ ਇੱਕ-ਬਰਾਬਰ ਹੀ ਸੰਭਵ (ਪਰੋਬੇਬਲ) ਹੋਣ, ਤਾਂ ਐਨਟ੍ਰੌਪੀ (ਸ਼ੈਨੋਨਾਂ ਵਿੱਚ) ਬਿੱਟਾਂ ਦੀ ਸੰਖਿਆ ਬਰਾਬਰ ਹੁੰਦੀ ਹੈ। ਬਿੱਟਾਂ ਦੀ ਗਿਣਤੀ ਅਤੇ ਸ਼ੈਨੋਨਾਂ ਦਰਮਿਆਨ ਸਮਾਨਤਾ ਸਿਰਫ ਉਦੋਂ ਲਾਗੂ ਰਹਿੰਦੀ ਹੈ ਜਦੋਂ ਸਾਰੇ ਨਿਕਲਣ ਵਾਲੇ ਨਤੀਜੇ ਇੱਕ ਸਮਾਨ ਹੀ ਪਰੋਬੇਬਲ (ਖੋਜਣਯੋਗ) ਹੋਣ। ਜੇਕਰ ਕੋਈ ਇੱਕ ਘਟਨਾ ਬਾਕੀ ਘਟਨਾਵਾਂ ਨਾਲ਼ੋਂ ਜਿਆਦਾ ਪ੍ਰੋਬੇਬਲ ਹੋਵੇ, ਤਾਂ ਉਸ ਘਟਨਾ ਦਾ ਨਿਰੀਖਣ ਘੱਟ ਸੂਚਨਾਤਮਿਕ ਹੁੰਦਾ ਹੈ। ਇਸਦੇ ਉਲਟ ਵਿਰਲੀਆਂ ਘਟਨਾਵਾਂ ਨਿਰੀਖਣ ਹੋਣ ਤੇ ਜਿਆਦਾ ਸੂਚਨਾ ਮੁਹੱਈਆ ਕਰਵਾਉਂਦੀਆਂ ਹਨ। ਕਿਉਂਕਿ ਘੱਟ ਪਰੋਬੇਬਲ ਘਟਨਾਵਾਂ ਦਾ ਨਿਰੀਖਣ ਹੋਰ ਜਿਆਦਾ ਵਿਰਲਾ ਵਾਪਰਦਾ ਹੈ, ਇਸ ਕਾਰਨ ਸ਼ੁੱਧ ਅਸਰ ਇਹ ਪੈਂਦਾ ਹੈ ਕਿ ਗੈਰ-ਇੱਕਸਾਰ ਵੰਡੇ ਆੰਕੜੇ ਤੋਂ ਪ੍ਰਾਪਤ ਐਨਟ੍ਰੌਪੀ (ਜੋ ਔਸਤ ਸੂਚਨਾ ਦੇ ਤੌਰ ਤੇ ਮੰਨੀ ਜਾਂਦੀ ਹੈ), log2(n) ਤੋਂ ਘੱਟ ਹੁੰਦੀ ਹੈ। ਜਦੋਂ ਨਤੀਜਾ ਨਿਸ਼ਚਿਤ ਹੁੰਦਾ ਹੈ ਤਾਂ ਐਨਟ੍ਰੌਪੀ ਜ਼ੀਰੋ ਰਹਿੰਦੀ ਹੈ। ਸ਼ੈਨੋਨ ਐਨਟ੍ਰੌਪੀ ਇਹਨਾਂ ਸਾਰੀਆਂ ਵਿਚਾਰਾਂ ਨੂੰ ਇਨਬਿੰਨ ਕੁਆਂਟੀਫਾਈ ਕਰਦੀ ਹੈ ਜਦੋਂ ਸੋਨਮੇ ਦੀ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਡਿਸਟ੍ਰੀਬਿਊਸ਼ਨ ਗਿਆਤ (ਪਤਾ) ਹੁੰਦੀ ਹੈ। ਨਿਰੀਖਤ ਘਟਨਾਵਾਂ (ਸੰਦੇਸ਼ਾਂ) ਦਾ ਅਰਥ ਐਨਟ੍ਰੌਪੀ ਦੀ ਪਰਿਭਾਸ਼ਾ ਵਿੱਚ ਕੋਈ ਵਾਸਤਾ ਨਹੀਂ ਰੱਖਦਾ। ਐਨਟ੍ਰੌਪੀ ਸਿਰਫ ਕਿਸੇ ਵਿਸ਼ੇਸ਼ ਘਟਨਾ ਨੂੰ ਨਿਰੀਖਣ ਕਰਨ ਦੀ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਨੂੰ ਹੀ ਲੈਂਦੀ ਹੈ, ਇਸਲਈ ਇਸਦੇ ਦੁਆਰਾ ਸਾਂਭੀ ਗਈ ਸੂਚਨਾ ਪਿੱਛੇ ਛੁਪੀ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਡਿਸਟ੍ਰੀਬਿਊਸ਼ਨ ਬਾਬਤ ਸੂਚਨਾ ਹੁੰਦੀ ਹੈ, ਨਾ ਕਿ ਖੁਦ ਘਟਨਾਵਾਂ ਦਾ ਅਰਥ ਹੀ ਹੁੰਦੀ ਹੈ। ਆਮਤੌਰ ਤੇ, ਐਨਟ੍ਰੌਪੀ ਅਵਿਵਸਥਾ ਜਾਂ ਅਨਿਸ਼ਚਿਤਿਤਾ ਵੱਲ ਇਸ਼ਾਰਾ ਕਰਦੀ ਹੈ। ਸ਼ੈਨੋਨ ਐਨਟ੍ਰੌਪੀ ਕਲਾਓਡੇ ਈ. ਸ਼ੈਨੋਨ ਵੱਲੋਂ 1948 ਵਿੱਚ ਆਪਣੇ ਪੇਪਰ "ਏ ਮੈਥੇਮੈਟੀਕਲ ਥਿਊਰੀ ਔਫ ਕਮਿਊਨੀਕੇਸ਼ਨ" ਵਿੱਚ ਪੇਸ਼ ਕੀਤੀ ਗਈ ਸੀ। ਸ਼ੈਨੋਨ ਐਨਟ੍ਰੌਪੀ ਕਿਸੇ ਸੂਚਨਾ ਸੋਮੇ ਦੀ ਹਾਨੀਹੀਣ ਐਨਕੋਡਿੰਗ (ਸੰਕਵੇ-ਬੱਧਤਾ) ਦੀ ਸਭ ਤੋਂ ਜਿਆਦਾ ਚੰਗੀ ਤਰਾਂ ਸੰਭਵ ਔਸਤ ਲੰਬਾਈ ਜਾਂ ਕੰਪ੍ਰੈਸ਼ਨ ਉੱਤੇ ਇੱਕ ਸ਼ੁੱਧ ਹੱਦ ਮੁਹੱਈਆ ਕਰਵਾਉਂਦੀ ਹੈ। ਰੇਨਯੀ ਐਨਟ੍ਰੌਪੀ ਸ਼ੈਨੋਨ ਐਨਟ੍ਰੌਪੀ ਸਦਾ ਸਰਵ ਸਧਾਰਨ ਕਰਨ ਕਰਦੀ ਹੈ। ਵ