إرباك
الإرباك في نظرية المعلومات هو قياس لمدى نجاح التوزيع الاحتمالي أو لنجاح نموذج احصائي معين يقوم بتوقع عينة. ويمكن استخدامه لمقارنة نماذج الاحتمالات. يشير الإرباك المنخفض إلى توزيع احتمالي جيد في تنبؤ العينة.

الإرباك في توزيع الاحتمال 
يتم تعريف الإرباك للتوزيع الاحتمالي المنفصل p كما يلي:

 

حيث أن قيمة الاحتمال لـ H يمثل قيمة الاعتلاج (بالبت) للتوزيع ونطاقات س على الأحداث. يعرف هذا المقياس أيضًا في بعض المجالات بالتنوع (order-1 true) .

يمكن تعريف قيمة الإرباك للمتغير العشوائي X بأنها قيمة الإرباك للتوزيع على قيمه المحتملة x .

يستخدم الإرباك في بعض الأحيان كمقياس لمدى صعوبة معضلة التنبؤ. رغم أن هذا ليس دقيقاً بشكل دائم. إذا كان لديك خياران، أحدهما باحتمال 0.9، فستكون فرصك في التخمين الصحيح 90 في المائة باستخدام الاستراتيجية المثلى. والإرباك سيكون اثنان مرفوعة للأس المساوي لحاصل طرح (لوغارتم 0.1 مضروبة في -0.1 من لوغارتم 0.9 مضروبة في -0.9)

إرباك نموذج الاحتمال 
قد يتم اقتراح نموذج معين لتوزيع احتمالي غير معروف p ، بناءً على عينة تدريب تم الحصول عليها من p . بالاستناد إلى نموذج الاحتمال المقترح q ، هنا يمكن تقييم q من خلال السؤال عن مدى توقعه لعينة اختبار منفصلة تمتد كما يلي: 1 ، x 2 ... x N والعينة مأخوذة من p . يتم تعريف حيرة النموذج q :

 

حيث تكون b عادة بمقدار 2. تميل النماذج الأفضل q للتوزيع غير المعروف p إلى تعيين احتمالات أعلى (قيم q لـ Xi) للأحداث في بيانات الاختبار. وبالتالي، تكون قيمة الإرباك أقل (تقل الدهشة برؤية التطبيق على بيانات الاختبار).

يمكن اعتبار الأس أعلاه هو متوسط عدد البتات اللازمة لتمثيل حدث اختبار x i إذا كان المرء يستخدم الكود الأمثل القائم على q . تؤدي النماذج ذات الإرباك المنخفض أداءً أفضل لضغط عينة الاختبار، حيث تتطلب وحدات بت أقل لكل عنصر اختبار في المتوسط لأن قيمة q لـ x i تكون مرتفعة.

الإرباك للكلمات 
في معالجة اللغة الطبيعية، يعد الإرباك وسيلة لتقييم قوالب اللغة. نموذج اللغة هو توزيع احتمالي للكلمات على جمل أو نصوص بأكملها.

باستخدام تعريف الإرباك لنموذج الاحتمال، قد نجد أن الجملة x i مثلاً في عينة الاختبار يمكن أن تكون مشفرة في 190 بت (أي أن جمل الاختبار كان لها متوسط احتمال لوغارتمي يبلغ -190). هذا من شأنه أن يعطي الإرباك نموذجاً كبيراً يعادل 2 190 لكل جملة. ومع ذلك، من الشائع أكثر أن يتم إجراء التطبيع لطول الجملة والنظر في عدد البتات لكل كلمة فقط. وبالتالي، إذا تضمنت جمل عينة الاختبار ما مجموعه 1000 كلمة، ويمكن ترميزها باستخدام إجمالي 7.95 بت لكل كلمة، فيمكن الحصول على قيمة إرباك نموذجية تبلغ 7.9 = 247 لكل كلمة. بمعنى آخر، فإن النموذج مرتبك في بيانات الاختبار كما لو كان عليه أن يختار بشكل موحد ومستقل بين 247 الاحتمالات لكل كلمة.

أدنى قيمة إرباك تم نشرها في متن براون (Brown Corpus) (مليون كلمة من اللغة الإنجليزية الأمريكية ذات مواضيع وأنواع مختلفة) اعتبارًا من عام 1992 هي في الواقع حوالي 247 لكل كلمة، وهي تقابل إنتروبيا لوغارتمية 247 = 7.95 بت لكل كلمة أو 1.75 بت لكل حرف  باستخدام نموذج ثلاثي الكلمات (trigram). غالبًا ما يكون من الممكن تحقيق إرباك أقل على الأصول النصية المتخصصة، لأنها أسهل في التنبؤ.

المراجع 

إنتروبيا ومعلومات
توزيع احتمالي طبيعي
مصطلحات رياضياتية
نظرية المعلومات
الإرباك في نظرية المعلومات هو قياس لمدى نجاح التوزيع الاحتمالي أو ل نجاح نموذج احصائي معين يقوم ب توقع عينة . و يمكن استخدام ه لمقارنة نماذج الاحتمالات . يشير الإرباك المنخفض إلى توزيع احتمالي جيد في تنبؤ العينة . الإرباك في توزيع الاحتمال يتم تعريف الإرباك ل التوزيع الاحتمالي المنفصل p كما يلي : حيث أن قيمة الاحتمال لـ H يمثل قيمة الاعتلاج ( بالبت ) ل التوزيع ونطاقات س على الأحداث . يعرف هذا المقياس أيضًا في بعض المجالات ب التنوع ( order - 1 true ) \ . يمكن تعريف قيمة الإرباك للمتغير العشوائي X ب أن ها قيمة الإرباك ل التوزيع على قيم ه المحتملة x\ . يستخدم الإرباك في بعض الأحيان كمقياس لمدى صعوبة معضلة التنبؤ . رغم أن هذا ليس دقيقاً ب شكل دائم . إذا كان لدي ك خياران ، أحد هما باحتمال 9 ، ف س تكون فرصك في التخمين الصحيحفي المائة ب استخدام الاستراتيجية المثلى . والإرباك س يكون اثنان مرفوعة للأس المساوي لحاصل طرح ( لوغارتم 1 مضروبة في 1 من لوغارتم 9 مضروبة في 9 ) إرباك نموذج الاحتمال قد يتم اقتراح نموذج معين ل توزيع احتمالي غير معروف p ، بناءً على عينة تدريب تم الحصول علي ها من p\ . ب الاستناد إلى نموذج الاحتمال المقترح q ، هنا يمكن تقييم q من خلال السؤال عن مدى توقع ه لعينة اختبار منفصلة تمتد كما يلي : ، x . . . x N والعينة مأخوذة من p\ . يتم تعريف حيرة النموذج q\ : حيث تكون b عادة ب مقدار تميل النماذج الأفضل q ل التوزيع غير المعروف p إلى تعيين احتمالات أعلى ( قيم q لـ Xi ) للأحداث في بيانات ال اختبار . و ب التالي ، تكون قيمة الإرباك أقل ( تقل الدهشة برؤية التطبيق على بيانات ال اختبار ) . يمكن اعتبار الأس أعلا ه هو متوسط عدد البتات اللازمة ل تمثيل حدث اختبار x i إذا كان المرء يستخدم الكود الأمثل القائم على q\ . تؤدي النماذج ذات الإرباك المنخفض أداءً أفضل لضغط عينة ال اختبار ، حيث تتطلب وحدات بت أقل ل كل عنصر اختبار في المتوسط لأن قيمة q لـ x i تكون مرتفعة . الإرباك للكلمات في معالجة اللغة الطبيعية ، يعد الإرباك وسيلة ل تقييم قوالب اللغة . نموذج اللغة هو توزيع احتمالي للكلمات على جمل أو نصوص ب أكمل ها . ب استخدام تعريف الإرباك لنموذج الاحتمال ، قد نجد أن الجملة x i مثلاً في عينة ال اختبار يمكن أن تكون مشفرة فيبت ( أي أن جمل ال اختبار كان ل ها متوسط احتمال لوغارتمي يبلغ هذا من شأن ه أن يعطي الإرباك نموذجاً كبيراً يعادل 190 ل كل جملة . و مع ذلك ، من الشائع أكثر أن يتم إجراء التطبيع لطول الجملة و النظر في عدد البتات ل كل كلمة فقط . و ب التالي ، إذا تضمنت جمل عينة ال اختبار ما مجموعهكلمة ، و يمكن ترميز ها ب استخدام إجمالي 95 بت ل كل كلمة ، ف يمكن الحصول على قيمة إرباك نموذجية تبلغ 9 = ل كل كلمة . ب معنى آخر ، ف إن النموذج مرتبك في بيانات ال اختبار كما لو كان علي ه أن يختار ب شكل موحد و مستقل بينالاحتمالات ل كل كلمة . أدنى قيمة إرباك تم نشر ها في متن براون ( Brown Corpus ) ( مليون كلمة من اللغة الإنجليزية الأمريكية ذات مواضيع وأنواع مختلفة ) اعتبارًا من عامهي في الواقع حواليلكل كلمة ، و هي تقابل إنتروبيا لوغارتمية = 95 بت ل كل كلمة أو 75 بت ل كل حرف ب استخدام نموذج ثلاثي الكلمات ( trigram ) . غالبًا ما يكون من الممكن تحقيق إرباك أقل على الأصول النصية المتخصصة ، لأن ها أسهل في التنبؤ . المراجع إنتروبيا و معلومات توزيع احتمالي طبيعي مصطلحات رياضياتية نظرية المعلومات