AdaBoost
অ্যাডাবাস্ট, অ্যাডাপটিভ বুস্টিংয়ের সংক্ষিপ্ত রূপ, 1995 সালে ইয়োভ ফ্রুন্ড এবং রবার্ট শ্যাপায়ার দ্বারা প্রণীত একটি পরিসংখ্যানগত শ্রেণিবিন্যাস মেটা-অ্যালগরিদম, যারা তাদের কাজের জন্য 2003 সালে গডেল পুরস্কার জিতেছিল। কর্মক্ষমতা উন্নত করতে এটি অন্যান্য অনেক ধরনের শেখার অ্যালগরিদমের সাথে ব্যবহার করা যেতে পারে। অন্যান্য লার্নিং অ্যালগরিদমের আউটপুট ('দুর্বল শিক্ষার্থী') একটি ওজনযুক্ত যোগফলের সাথে মিলিত হয় যা বর্ধিত শ্রেণিবিন্যাসের চূড়ান্ত আউটপুটকে উপস্থাপন করে। সাধারণত, অ্যাডাবুস্ট বাইনারি শ্রেণিবিন্যাসের জন্য উপস্থাপন করা হয়, যদিও এটি বাস্তব লাইনের একাধিক শ্রেণী বা সীমাবদ্ধ বিরতিতে সাধারণীকরণ করা যেতে পারে। অ্যাডা বুস্ট এই অর্থে অভিযোজিত যে পরবর্তী দুর্বল শিক্ষার্থীদের পূর্ববর্তী শ্রেণিবিন্যাসকারীদের দ্বারা ভুলভাবে শ্রেণীবদ্ধ করা উদাহরণগুলির পক্ষে পরিবর্তন করা হয়। কিছু সমস্যায় এটি অন্যান্য লার্নিং অ্যালগরিদমের তুলনায় ওভারফিটিং সমস্যার জন্য কম সংবেদনশীল হতে পারে। পৃথক শিক্ষার্থী দুর্বল হতে পারে, তবে যতক্ষণ প্রত্যেকের কর্মক্ষমতা এলোমেলো অনুমানের চেয়ে কিছুটা ভাল হয়, ততক্ষণ চূড়ান্ত মডেলটি একজন শক্তিশালী শিক্ষার্থী হিসাবে প্রমাণিত হতে পারে। যদিও অ্যাডা বুস্ট সাধারণত দুর্বল বেস শিক্ষার্থীদের (যেমন ডিসিশন স্টাম্প) একত্রিত করতে ব্যবহৃত হয়, তবে এটি দেখানো হয়েছে যে এটি কার্যকরভাবে শক্তিশালী বেস শিক্ষার্থীদের (যেমন গভীর সিদ্ধান্ত গাছ) একত্রিত করতে পারে, যা আরও সঠিক মডেল তৈরি করে। প্রতিটি শেখার অ্যালগরিদম কিছু সমস্যার প্রকারের সাথে অন্যদের তুলনায় ভাল মানানসই হয় এবং সাধারণত ডেটাসেটে সর্বোত্তম কার্যকারিতা অর্জনের আগে সামঞ্জস্য করার জন্য অনেকগুলি বিভিন্ন পরামিতি এবং কনফিগারেশন থাকে। অ্যাডা বুস্টকে (দুর্বল শিক্ষার্থী হিসাবে সিদ্ধান্তের গাছ সহ) প্রায়শই সেরা আউট-অফ-দ্য-বক্স শ্রেণীবিভাগ হিসাবে উল্লেখ করা হয়। যখন ডিসিশন ট্রি লার্নিং-এর সাথে ব্যবহার করা হয়, তখন অ্যাডা বুস্ট অ্যালগরিদমের প্রতিটি পর্যায়ে প্রতিটি প্রশিক্ষণের নমুনার আপেক্ষিক 'কঠোরতা' সম্পর্কে সংগৃহীত তথ্য গাছের ক্রমবর্ধমান অ্যালগরিদমের মধ্যে এমনভাবে দেওয়া হয় যাতে পরবর্তী গাছগুলি কঠিন-থেকে-শ্রেণীবদ্ধ উদাহরণগুলিতে মনোনিবেশ করে। প্রশিক্ষণ অ্যাডা বুস্ট একটি বর্ধিত শ্রেণীবিভাগের প্রশিক্ষণের একটি নির্দিষ্ট পদ্ধতিকে বোঝায়। একটি বর্ধিত শ্রেণীবিভাগ হল সেই ফর্মের একটি শ্রেণীবিভাগ যেখানে প্রত্যেকে একজন দুর্বল শিক্ষার্থী যা একটি বস্তুকে ইনপুট হিসাবে গ্রহণ করে এবং বস্তুর শ্রেণী নির্দেশ করে একটি মান প্রদান করে। উদাহরণস্বরূপ, দ্বি-শ্রেণীর সমস্যায়, দুর্বল শিক্ষার্থীর ফলাফলের চিহ্নটি পূর্বাভাসকৃত বস্তু শ্রেণীকে চিহ্নিত করে এবং পরম মান সেই শ্রেণিবিন্যাসে আস্থা দেয়। একইভাবে,-তম শ্রেণীবিভাগটি ধনাত্মক হয় যদি নমুনাটি ধনাত্মক শ্রেণীতে থাকে এবং অন্যথায় ঋণাত্মক হয়। প্রতিটি দুর্বল শিক্ষার্থী একটি আউটপুট হাইপোথিসিস তৈরি করে যা প্রশিক্ষণ সেটের প্রতিটি নমুনার জন্য একটি ভবিষ্যদ্বাণী স্থির করে। প্রতিটি পুনরাবৃত্তিতে, একজন দুর্বল শিক্ষার্থীকে নির্বাচিত করা হয় এবং একটি সহগ বরাদ্দ করা হয় যাতে ফলস্বরূপ-পর্যায় বর্ধিত শ্রেণিবিন্যাসের মোট প্রশিক্ষণ ত্রুটি হ্রাস করা হয়। এখানে বর্ধিত শ্রেণিবিন্যাস রয়েছে যা প্রশিক্ষণের পূর্ববর্তী পর্যায় পর্যন্ত তৈরি করা হয়েছে এবং দুর্বল শিক্ষার্থীকে চূড়ান্ত শ্রেণিবিন্যাসের সাথে যুক্ত করার জন্য বিবেচনা করা হচ্ছে। ওজন প্রশিক্ষণ প্রক্রিয়ার প্রতিটি পুনরাবৃত্তিতে, প্রশিক্ষণ সেটের প্রতিটি নমুনার জন্য একটি ওজন বরাদ্দ করা হয় যা সেই নমুনার বর্তমান ত্রুটির সমান। এই ওজনগুলি দুর্বল শিক্ষার্থীদের প্রশিক্ষণে ব্যবহার করা যেতে পারে। উদাহরণস্বরূপ, সিদ্ধান্ত গাছগুলি চাষ করা যেতে পারে যা বড় ওজনের নমুনার সেটগুলির বিভাজনকে সমর্থন করে। এই ব্যুৎপত্তিটি রোজাস (2009) অনুসরণ করেঃ ধরুন আমাদের কাছে একটি ডেটা সেট রয়েছে যেখানে প্রতিটি আইটেমের একটি সম্পর্কিত শ্রেণী রয়েছে এবং দুর্বল শ্রেণিবিন্যাসের একটি সেট রয়েছে যার প্রতিটি আইটেমের জন্য একটি শ্রেণিবিন্যাস আউটপুট দেয়। - তম পুনরাবৃত্তির পরে আমাদের বর্ধিত শ্রেণীবিভাগটি ফর্মের দুর্বল শ্রেণীবিভাগগুলির একটি রৈখিক সংমিশ্রণঃ, যেখানে শ্রেণীটি এর চিহ্ন হবে। - তম পুনরাবৃত্তিতে আমরা আরেকটি দুর্বল শ্রেণিবিন্যাস যুক্ত করে এটিকে আরও ভাল বর্ধিত শ্রেণিবিন্যাসে প্রসারিত করতে চাই, অন্য ওজন সহঃ সুতরাং কোন দুর্বল শ্রেণিবিন্যাসটি সর্বোত্তম পছন্দ এবং এর ওজন কী হওয়া উচিত তা নির্ধারণ করা বাকি। আমরা এর মোট ত্রুটিকে প্রতিটি ডেটা পয়েন্টে তার সূচকীয় ক্ষতির সমষ্টি হিসাবে সংজ্ঞায়িত করি, যা নিম্নরূপঃ লেটিং এবং ফর, আমাদের আছেঃ আমরা এই যোগফলকে সেই ডেটা পয়েন্টগুলির মধ্যে ভাগ করতে পারি যা সঠিকভাবে (তাই) দ্বারা শ্রেণীবদ্ধ করা হয়েছে এবং যেগুলি ভুল শ্রেণীবদ্ধ করা হয়েছে (তাই): যেহেতু এই সমীকরণের ডান দিকের একমাত্র অংশ যার উপর নির্ভর করে, আমরা দেখতে পাই যে ন্যূনতম হয় সেটি [ধরে নিয়ে], অর্থাৎ। সর্বনিম্ন ওজনযুক্ত ত্রুটি সহ দুর্বল শ্রেণীবিভাগ (ওজন সহ)। কাঙ্ক্ষিত ওজন নির্ধারণের জন্য যা আমরা সবেমাত্র নির্ধারণ করেছি তার সাথে ন্যূনতম হয়, আমরা পার্থক্য করিঃ সৌভাগ্যবশত ন্যূনতমটি ঘটে যখন এটিকে শূন্যে সেট করা হয়, তারপর উৎপাদনের জন্য সমাধান করা হয়ঃ আমরা দুর্বল শ্রেণিবিন্যাসকের ওজনযুক্ত ত্রুটির হার গণনা করি, তাই এটি অনুসরণ করেঃ যা ঋণাত্মক লগিট ফাংশনকে 0.5 দ্বারা গুণ করা হয়। একটি ফাংশন হিসাবে এর উত্তলতার কারণে, এই নতুন অভিব্যক্তিটি ক্ষতির ফাংশনের গ্লোবাল ন্যূনতম দেয়। দ্রষ্টব্যঃ এই ব্যুৎপত্তি শুধুমাত্র তখনই প্রযোজ্য যখন, যদিও এটি অন্যান্য ক্ষেত্রে একটি ভাল প্রারম্ভিক অনুমান হতে পারে, যেমন যখন দুর্বল শিক্ষার্থী পক্ষপাতদুষ্ট (), একাধিক পাতা () থাকে বা অন্য কোনও ফাংশন থাকে। এইভাবে আমরা অ্যাডা বুস্ট অ্যালগরিদমটি অর্জন করেছিঃ প্রতিটি পুনরাবৃত্তিতে, শ্রেণীবিভাগটি বেছে নিন, যা মোট ওজনযুক্ত ত্রুটিটিকে ন্যূনতম করে, ত্রুটির হার গণনা করতে এটি ব্যবহার করুন, ওজন গণনা করতে এটি ব্যবহার করুন এবং অবশেষে বর্ধিত শ্রেণীবিভাগকে উন্নত করতে এটি ব্যবহার করুন। বুস্টিং বুস্টিং-এর পরিসংখ্যানগত বোঝাপড়া হল রৈখিক রিগ্রেশন-এর একটি রূপ যেখানে প্রতিটি নমুনার বৈশিষ্ট্যগুলি কিছু দুর্বল শিক্ষার্থীর ফলাফলের উপর প্রয়োগ করা হয়। যদিও রিগ্রেশন সাধারণীকরণের ক্ষতি ছাড়াই যতটা সম্ভব সঠিকভাবে ফিট করার চেষ্টা করে, সাধারণত ন্যূনতম বর্গ ত্রুটি ব্যবহার করে, যেখানে অ্যাডাবুস্ট ত্রুটি ফাংশনটি এই সত্যটি বিবেচনা করে যে শুধুমাত্র চূড়ান্ত ফলাফলের চিহ্ন ব্যবহার করা হয়, তাই ত্রুটি না বাড়িয়ে 1 এর চেয়ে অনেক বড় হতে পারে। যাইহোক, নমুনার জন্য ত্রুটির সূচকীয় বৃদ্ধি বৃদ্ধি পায়। যার ফলে বহিরাগতদের অতিরিক্ত ওজন বরাদ্দ করা হয়। সূচকীয় ত্রুটি ফাংশন নির্বাচনের একটি বৈশিষ্ট্য হল যে চূড়ান্ত যোগাত্মক মডেলের ত্রুটি হল প্রতিটি পর্যায়ের ত্রুটির গুণফল, অর্থাৎ। সুতরাং এটি দেখা যায় যে অ্যাডাবুস্ট অ্যালগরিদমের ওজন আপডেট প্রতিটি পর্যায়ের পরে ত্রুটিটি পুনরায় গণনা করার সমতুল্য। লস ফাংশন বেছে নেওয়ার ক্ষেত্রে প্রচুর নমনীয়তার অনুমতি রয়েছে। যতক্ষণ পর্যন্ত লস ফাংশনটি একঘেয়ে এবং ক্রমাগত ডিফারেনশিয়েবল হয়, ততক্ষণ শ্রেণীবিভাগটি সর্বদা বিশুদ্ধ সমাধানের দিকে চালিত হয়। ঝাং (2004) ন্যূনতম বর্গের উপর ভিত্তি করে একটি ক্ষতি ফাংশন প্রদান করে, একটি পরিবর্তিত হুবার ক্ষতি ফাংশনঃ এই ফাংশনটি 1 বা-1 এর কাছাকাছি লজিটবুস্টের তুলনায় বেশি ভাল আচরণ করে, অপরিবর্তিত ন্যূনতম বর্গের বিপরীতে 'অতিরিক্ত আত্মবিশ্বাস' ভবিষ্যদ্বাণীগুলিকে () শাস্তি দেয় না এবং কেবলমাত্র 1 এর চেয়ে বেশি আত্মবিশ্বাসের সাথে ভুল শ্রেণীবদ্ধ নমুনাগুলিকে জরিমানা করে, চতুর্ভুজ বা সূচকীয়তার বিপরীতে, এবং এইভাবে বহিরাগতদের প্রভাবের জন্য কম সংবেদনশীল। গ্রেডিয়েন্ট ডিসেন্ট হিসাবে বুস্টিং বুস্টিংকে একটি উত্তল ফাংশন সেটের উপর একটি উত্তল ক্ষতি ফাংশনের ন্যূনতমকরণ হিসাবে দেখা যেতে পারে। বিশেষত, অ্যাডাবুস্ট দ্বারা হ্রাস করা ক্ষতি হল সূচকীয় ক্ষতি, যেখানে লজিটবুস্ট ন্যূনতম করে লজিস্টিক রিগ্রেশন সম্পাদন করে। গ্রেডিয়েন্ট ডিসেন্ট সাদৃশ্য অনুসারে, প্রতিটি প্রশিক্ষণ বিন্দুর জন্য শ্রেণীবিভাগের আউটপুটকে এন-ডাইমেনশনাল স্পেসে একটি বিন্দু হিসাবে বিবেচনা করা হয়, যেখানে প্রতিটি অক্ষ একটি প্রশিক্ষণ নমুনার সাথে মিলে যায়, প্রতিটি দুর্বল শিক্ষার্থী নির্দিষ্ট অভিযোজন এবং দৈর্ঘ্যের একটি ভেক্টরের সাথে মিলে যায় এবং লক্ষ্যটি হল লক্ষ্য বিন্দুতে পৌঁছানো (বা যে কোনও অঞ্চলে যেখানে লস ফাংশনের মান সেই বিন্দুতে মানের চেয়ে কম), সবচেয়ে কম ধাপে। এইভাবে অ্যাডাবুস্ট অ্যালগরিদম হয় কচি (সবচেয়ে খাড়া গ্রেডিয়েন্ট দিয়ে সন্ধান করুন, পরীক্ষার ত্রুটি হ্রাস করতে বেছে নিন) বা নিউটন (কিছু লক্ষ্য বিন্দু নির্বাচন করুন, যা সেই বিন্দুর কাছাকাছি নিয়ে আসে) প্রশিক্ষণ ত্রুটির অপ্টিমাইজেশন সম্পাদন করে। উদাহরণস্বরূপ অ্যালগরিদম (ডিসক্রিট অ্যাডাবুস্ট) সহঃ নমুনা কাঙ্ক্ষিত আউটপুট প্রাথমিক ওজনগুলি ত্রুটি ফাংশনে সেট করা হয়েছে দুর্বল শিক্ষার্থীরা এর জন্যঃ বেছে নিনঃ দুর্বল শিক্ষার্থীকে খুঁজে বের করুন যা হ্রাস করে, ভুল শ্রেণীবদ্ধ পয়েন্টগুলির জন্য ওজনযুক্ত যোগফলের ত্রুটি এনসেম্বল-এ যোগ করুনঃ ওজনগুলি আপডেট করুনঃ কারণ পুনর্নবীকরণের ক্ষেত্রে এমনভাবে (দ্রষ্টব্যঃ এটি দেখানো যেতে পারে যে প্রতিটি ধাপে, যা নতুন ওজনের গণনাকে সহজতর করতে পারে।) ভ্যারিয়েন্টস রিয়েল অ্যাডা বুস্ট ডিসিশন ট্রি-র আউটপুট হল একটি শ্রেণী সম্ভাব্যতা অনুমান, যা ধনাত্মক শ্রেণীর সম্ভাব্যতা। ফ্রিডম্যান, হ্যাস্টি এবং টিবশিরানি কিছু নির্দিষ্ট (সাধারণত ওজনযুক্ত ন্যূনতম বর্গ ত্রুটি ব্যবহার করে নির্বাচিত) জন্য একটি বিশ্লেষণাত্মক মিনিমাইজার অর্জন করেছেনঃ সুতরাং, পুরো গাছের আউটপুটকে কিছু নির্দিষ্ট মান দ্বারা গুণ করার পরিবর্তে, প্রতিটি লিফ নোডকে তার আগের মানের অর্ধেক লগিট রূপান্তর আউটপুট হিসাবে পরিবর্তন করা হয়। লজিটবুস্ট লজিটবুস্ট অ্যাডাবুস্ট পদ্ধতিতে প্রতিষ্ঠিত লজিস্টিক রিগ্রেশন কৌশলগুলির একটি প্রয়োগের প্রতিনিধিত্ব করে। y-এর ক্ষেত্রে ত্রুটি হ্রাস করার পরিবর্তে, দুর্বল শিক্ষার্থীদের বেছে নেওয়া হয় (ওজনযুক্ত ন্যূনতম-বর্গ) ত্রুটিটি হ্রাস করার জন্য যেখানে এটি পর্যায়ে লগ-লাইকিহুড ত্রুটির মিনিমাইজারের নিউটন-রাফসন অনুমান, এবং দুর্বল শিক্ষার্থীকে এমন শিক্ষার্থী হিসাবে বেছে নেওয়া হয় যা ওজনযুক্ত ন্যূনতম বর্গ দ্বারা সর্বোত্তম অনুমান করে। পি 1 বা 0-এর কাছাকাছি আসার সাথে সাথে এর মান খুব ছোট হয়ে যায় এবং জেড শব্দটি, যা ভুল শ্রেণীবদ্ধ নমুনার জন্য বড়, মেশিনের নির্ভুলতা বৃত্তাকার ত্রুটির কারণে সংখ্যার দিক থেকে অস্থির হয়ে উঠতে পারে। জেড-এর পরম মান এবং ডাব্লু জেন্টল অ্যাডাবুস্টের ন্যূনতম মানের উপর কিছু সীমা প্রয়োগ করে এটি অতিক্রম করা যেতে পারে যদিও পূর্ববর্তী বুস্টিং অ্যালগরিদমগুলি লোভের সাথে বেছে নেয়, প্রতিটি ধাপে সামগ্রিক পরীক্ষার ত্রুটি যতটা সম্ভব হ্রাস করে, জেন্টলবুস্টের একটি সীমাবদ্ধ পদক্ষেপের আকার রয়েছে। হ্রাস করার জন্য বেছে নেওয়া হয়, এবং আর কোনও সহগ প্রয়োগ করা হয় না। সুতরাং, যে ক্ষেত্রে একজন দুর্বল শিক্ষার্থী নিখুঁত শ্রেণিবিন্যাস কর্মক্ষমতা প্রদর্শন করে, জেন্টলবুস্ট ঠিক তার সমান বেছে নেয়, যেখানে স্টিপেস্ট ডিসেন্ট অ্যালগরিদমগুলি সেট করার চেষ্টা করে। জেন্টলবুস্টের ভাল পারফরম্যান্স সম্পর্কে পরীক্ষামূলক পর্যবেক্ষণগুলি শ্যাপায়ার এবং সিঙ্গারের মন্তব্যকে সমর্থন করে বলে মনে হয় যে এর অত্যধিক বড় মানগুলিকে অনুমতি দেওয়া খারাপ সাধারণীকরণের পারফরম্যান্সের দিকে নিয়ে যেতে পারে। প্রারম্ভিক সমাপ্তি বর্ধিত শ্রেণিবিন্যাসের প্রক্রিয়াকরণকে ত্বরান্বিত করার একটি কৌশল, প্রাথমিক সমাপ্তি বলতে বোঝায় শুধুমাত্র প্রতিটি সম্ভাব্য বস্তুকে চূড়ান্ত শ্রেণিবিন্যাসের যতগুলি স্তর সহ কিছু আত্মবিশ্বাসের সীমা পূরণের জন্য প্রয়োজনীয় পরীক্ষা করা, এমন ক্ষেত্রে গণনার গতি বাড়ানো যেখানে বস্তুর শ্রেণী সহজেই নির্ধারণ করা যায়। এই ধরনের একটি পদ্ধতি হল ভায়োলা এবং জোন্স দ্বারা প্রবর্তিত বস্তু সনাক্তকরণ কাঠামোঃ ইতিবাচকের চেয়ে উল্লেখযোগ্যভাবে বেশি নেতিবাচক নমুনা সহ একটি প্রয়োগে, পৃথক বুস্ট শ্রেণীবিভাগের একটি ক্যাসকেড প্রশিক্ষণ দেওয়া হয়, প্রতিটি পর্যায়ের আউটপুট এমনভাবে পক্ষপাতদুষ্ট হয় যে ইতিবাচক নমুনার কিছু গ্রহণযোগ্য ছোট ভগ্নাংশকে নেতিবাচক হিসাবে ভুল লেবেল করা হয় এবং প্রতিটি পর্যায়ের পরে নেতিবাচক হিসাবে চিহ্নিত সমস্ত নমুনা বাতিল করা হয়। যদি প্রতিটি পর্যায়ে 50 শতাংশ নেতিবাচক নমুনা ফিল্টার করা হয়, তবে খুব কম সংখ্যক বস্তুই পুরো শ্রেণিবিন্যাসের মধ্য দিয়ে যাবে, যা গণনার প্রচেষ্টা হ্রাস করবে। এই পদ্ধতিটি তখন থেকে সাধারণীকরণ করা হয়েছে, কিছু কাঙ্ক্ষিত মিথ্যা ধনাত্মক এবং মিথ্যা ঋণাত্মক হার অর্জনের জন্য প্রতিটি পর্যায়ে সর্বোত্তম সীমা বেছে নেওয়ার জন্য একটি সূত্র প্রদান করা হয়েছে। পরিসংখ্যানের ক্ষেত্রে, যেখানে অ্যাডাবুস্ট সাধারণত মাঝারি মাত্রার সমস্যাগুলির ক্ষেত্রে প্রয়োগ করা হয়, তাড়াতাড়ি থামানো ওভারফিটিং হ্রাস করার কৌশল হিসাবে ব্যবহৃত হয়। নমুনাগুলির একটি বৈধতা সেট প্রশিক্ষণ সেট থেকে পৃথক করা হয়, প্রশিক্ষণের জন্য ব্যবহৃত নমুনাগুলিতে শ্রেণীবিভাগের কার্যকারিতা বৈধতা নমুনার কার্যকারিতার সাথে তুলনা করা হয় এবং প্রশিক্ষণ সেটের কার্যকারিতা অব্যাহত থাকলেও বৈধতা নমুনার কার্যকারিতা হ্রাস পেতে দেখা গেলে প্রশিক্ষণ বন্ধ করা হয়। সম্পূর্ণ সংশোধনমূলক অ্যালগরিদম অ্যাডাবুস্টের স্টিপেস্ট ডিসেন্ট সংস্করণগুলির জন্য, যেখানে পরীক্ষার ত্রুটি হ্রাস করার জন্য প্রতিটি স্তর টি-তে বেছে নেওয়া হয়, পরবর্তী স্তরটি যোগ করা স্তর টি-এর থেকে সর্বাধিক স্বাধীন বলে মনে করা হয়ঃ দুর্বল শিক্ষার্থী টি + 1 বেছে নেওয়ার সম্ভাবনা নেই যা শিক্ষার্থী টি-এর অনুরূপ। তবে, সম্ভাবনা রয়েছে যে টি + 1 আগের কোনও স্তরের অনুরূপ তথ্য তৈরি করে। সম্পূর্ণরূপে সংশোধনমূলক অ্যালগরিদম, যেমন এলপিবিওস্ট, প্রতিটি ধাপের পরে প্রতিটি সহগের মানকে এমনভাবে অনুকূল করে তোলে, যাতে যোগ করা নতুন স্তরগুলি সর্বদা পূর্ববর্তী প্রতিটি স্তর থেকে সর্বাধিক স্বাধীন থাকে। এটি ব্যাকফিটিং, লিনিয়ার প্রোগ্রামিং বা অন্য কোনও পদ্ধতিতে সম্পন্ন করা যেতে পারে। ছাঁটাই ছাঁটাই হল দুর্বল শ্রেণীবিভাগগুলি অপসারণের প্রক্রিয়া যাতে বর্ধিত শ্রেণীবিভাগের স্মৃতিশক্তি এবং সম্পাদন-সময় ব্যয় উন্নত করা যায়। সবচেয়ে সহজ পদ্ধতি, যা সম্পূর্ণ সংশোধনমূলক প্রশিক্ষণের সাথে বিশেষভাবে কার্যকর হতে পারে, তা হল ওজন-বা মার্জিন-ছাঁটাইঃ যখন কোনও দুর্বল শ্রেণিবিন্যাসকের সহগ বা মোট পরীক্ষার ত্রুটির অবদান একটি নির্দিষ্ট সীমার নিচে নেমে যায়, তখন সেই শ্রেণিবিন্যাস বাদ দেওয়া হয়। মার্জিনান্তু এবং ডায়েটেরিচ ছাঁটাইয়ের জন্য একটি বিকল্প মানদণ্ডের পরামর্শ দিয়েছিলেনঃ দুর্বল শ্রেণীবিভাগগুলি এমনভাবে নির্বাচন করা উচিত যাতে দলটির বৈচিত্র্য সর্বাধিক হয়। যদি দু 'জন দুর্বল শিক্ষার্থী খুব অনুরূপ ফলাফল তৈরি করে, তবে তাদের মধ্যে একটিকে সরিয়ে এবং অবশিষ্ট দুর্বল শিক্ষার্থীর সহগ বাড়িয়ে দক্ষতা উন্নত করা যেতে পারে। এছাড়াও বুটস্ট্র্যাপ এগ্রিগেটিং কোবুস্টিং ব্রাউনবুস্ট গ্রেডিয়েন্ট বুস্টিং রেফারেন্স দেখুন ইয়োভ ফ্রুন্ড এবং রবার্ট E.Schapire-এর মূল গবেষণাপত্রটি আরও পড়ুন যেখানে অ্যাডা বুস্ট প্রথম চালু করা হয়েছিল। বুস্টিং অ্যালগরিদমের মার্জিন ব্যাখ্যায়। বুস্টিংয়ের মার্জিন ব্যাখ্যা সম্পর্কে সন্দেহের উপর। শ্রেণিবিন্যাস অ্যালগরিদম একত্রিত শিক্ষা