التنظيم (رياضيات)
التنظيم هي عملية إضافة معلومات من أجل حل مشكلة خاطئة أو لمنع حدوث الاحكام المفرط (Overfitting) في معضلات كالتصنيف، والعملية شائعة في الرياضيات والإحصاء وعلوم الكمبيوتر ، لا سيما في التعلم الآلي.

التصنيف 
أحد استخدامات التنظيم الرئيسية هي في معضلات التصنيف في التعلم الآلي، والتعلم التجريبي لأدوات التصنيف من مجموعة بيانات محدودة، والمشكلة هنا تتمثل بأن ما سينطبق على X من دوال سينطبق على جميع X1, X2, X3 ..الخ. أي أن المعضلة سيتم التقليل من تحديدها وفق البيانات الموجودة.

يضاف مصطلح تنظيم (أو منظم) R يضاف إلى دالة الخسارة مضروباً بقيمة الوزن (لامدا) لمقدار التنظيم المراد اضافته:

 

حيث أن V هي دالة الخسارة التي تصف كلفة التنبؤ بدالة اكس (f(x)) بوجود الناتج y، الدالة قد تكون دالة خسارة مربعة (square loss) أو دالة مفصلة للخسارة (hinge loss)؛ وكما أسلفنا، فإشارة لامدا (ʎ) تشير لمدى الوزن المراد اعطاؤه للتنظيم أو أهمية التنظيم، وتحديداً تعمل قيمة لامدا قيمة جزائية على درجة تعقيد دالة R. وقد نشأت في العلوم الأخرى فكرة مشابهة، منها ما يعرف بتنظيم تيخونوف نسبة إلى العالم أندري نيكولاييفيتش تيخونوف.

التعميم 
يمكن أن يكون الدافع وراء عملية التنظيم هو اعتبارها طريقة لتحسين تعميم نموذج التعلم الآلي.

الهدف من مشكلة التعلم هنا هو العثور على دالة تناسب أو تتنبأ بالنتيجة (التصنيف) بشكل يقلل من الخطأ المتوقع على جميع المدخلات وما يقابلها من المخرجات المحتملة. الخطأ المتوقع لدالة f يُمكن صياغته كما يلي:

 

لا تتوفر في مشاكل التعلم عادة، سوى مجموعة فرعية من بيانات الإدخال والمخرجات، تقاس ببعض الضوضاء. لذا، فالخطأ المتوقع غير قابل للقياس، وأفضل بديل متاح هو الخطأ التجريبي على عدد N من العينات المتاحة يكون كالآتي:

تقليل للتناثر 
افترض أن قاموساً معيناً ذو بعد p يعبر عن دالة معينة في مجال الدالة على النحو التالي:

  

فرض قيود على W يمكن أن يؤدي إلى نماذج أكثر بساطة وأكثر قابلية للفهم. هذا مفيد في العديد من التطبيقات الواقعية مثل علم الأحياء الحاسوبي. مثال على ذلك هو تطوير اختبار تنبؤي بسيط للمرض من أجل تقليل تكلفة إجراء الاختبارات الطبية مع زيادة القدرة التنبؤية إلى أقصى حد.

المحدد المعقول لقيمة التناثر هو L0، المعرف بأنه عدد العناصر غير الصفرية في W. أما تنظيم L1، فيمكن استخدامه لمقاربة القيمة المثلى لتنظيم L0 من خلال الإرخاء المحدب (convex relaxation). تجدر الإشارة إلى أن كل من L0، L1 و L2 هي أنماط من دوال التنظيم تختلف في دالة الجزاء التي تفرضها، فمثلا تفرض L1 مقداراً للجزاء يتمثل بالقيمة المجردة لمقدار التنظيم المضاف، فيما تمثل L2 دالة تربيعية لمقدار التنظيم المضاف.

ملاحظات

المراجع 

 A. Neumaier, Solving ill-conditioned and singular linear systems: A tutorial on regularization, SIAM Review 40 (1998), 636–666. Available in pdf from author's website.

تحليل رياضي
مشاكل عكسية
التنظيم هي عملية إضافة معلومات من أجل حل مشكلة خاطئة أو ل منع حدوث الاحكام المفرط ( Overfitting ) في معضلات كالتصنيف ، والعملية شائعة في الرياضيات و الإحصاء وعلوم الكمبيوتر ، لا سيما في التعلم الآلي . التصنيف أحد استخدامات التنظيم الرئيسية هي في معضلات التصنيف في التعلم الآلي ، و التعلم التجريبي لأدوات التصنيف من مجموعة بيانات محدودة ، والمشكلة هنا تتمثل ب أن ما س ينطبق على X من دوال س ينطبق على جميع X1 , X2 , X3\ . . الخ . أي أن المعضلة س يتم التقليل من تحديد ها وفق البيانات الموجودة . يضاف مصطلح تنظيم ( أو منظم ) R يضاف إلى دالة الخسارة مضروباً ب قيمة الوزن ( لامدا ) ل مقدار التنظيم المراد اضافت ه : حيث أن V هي دالة الخسارة التي تصف كلفة التنبؤ بدالة اكس ( f ( x ) ) ب وجود الناتج y ، الدالة قد تكون دالة خسارة مربعة ( square loss ) أو دالة مفصلة للخسارة ( hinge loss ) ؛ و كما أسلف نا ، فإشارة لامدا ( ʎ ) تشير لمدى الوزن المراد ا عطاء ه ل التنظيم أو أهمية التنظيم ، و تحديدا تعمل قيمة لامدا قيمة جزائية على درجة تعقيد دالة R . و قد نشأت في العلوم الأخرى فكرة مشابهة ، من ها ما يعرف ب تنظيم تيخونوف نسبة إلى العالم أندري نيكولاييفيتش تيخونوف . ال تعميم يمكن أن يكون الدافع وراء عملية التنظيم هو اعتبار ها طريقة ل تحسين تعميم نموذج التعلم الآلي . الهدف من مشكلة التعلم هنا هو العثور على دالة تناسب أو تتنبأ ب النتيجة ( التصنيف ) ب شكل يقلل من الخطأ المتوقع على جميع المدخلات و ما يقابل ها من المخرجات المحتملة . الخطأ المتوقع لدالة f يُمكن صياغته كما يلي : لا تتوفر في مشاكل التعلم عادة ، سوى مجموعة فرعية من بيانات الإدخال والمخرجات ، تقاس ب بعض الضوضاء . لذا ، ف الخطإ المتوقع غير قابل للقياس ، و أفضل بديل متاح هو الخطأ التجريبي على عدد N من العينات المتاحة يكون ك الآتي : تقليل للتناثر افترض أن قاموساً معيناً ذو بعد p يعبر عن دالة معينة في مجال الدالة على النحو التالي : فرض قيود على W يمكن أن يؤدي إلى نماذج أكثر بساطة وأكثر قابلية للفهم . هذا مفيد في العديد من التطبيقات الواقعية مثل علم الأحياء الحاسوبي . مثال على ذلك هو تطوير اختبار تنبؤي بسيط ل المرض من أجل تقليل تكلفة إجراء ال اختبارات الطبية مع زيادة القدرة التنبؤية إلى أقصى حد . المحدد المعقول لقيمة التناثر هو L0 ، المعرف ب أن ه عدد العناصر غير الصفرية في W . أما تنظيم L1 ، ف يمكن استخدام ه ل مقاربة القيمة المثلى لتنظيم L0 من خلال الإرخاء المحدب ( convex relaxation ) . تجدر الإشارة إلى أن كل من L0 ، L1 و L2 هي أنماط من دوال التنظيم تختلف في دالة الجزاء التي تفرض ها ، فمثلا تفرض L1 مقداراً للجزاء يتمثل بالقيمة المجردة ل مقدار التنظيم المضاف ، فيما تمثل L2 دالة تربيعية ل مقدار التنظيم المضاف . ملاحظات المراجع A . Neumaier , Solving ill - conditioned and singular linear system s : A tutorial on regularization , SIAM Review ( 1998 ) ,666 . A vailable in pdf from auth o r 's website . تحليل رياضي مشاكل عكسية