Mathematical optimization
গাণিতিক অপ্টিমাইজেশন (বিকল্পভাবে বানান অপ্টিমাইজেশন) বা গাণিতিক প্রোগ্রামিং হল উপলব্ধ বিকল্পগুলির কিছু সেট থেকে কিছু মানদণ্ডের ক্ষেত্রে একটি সেরা উপাদান নির্বাচন করা। এটি সাধারণত দুটি উপক্ষেত্রে বিভক্তঃ বিচ্ছিন্ন অপ্টিমাইজেশন এবং অবিচ্ছিন্ন অপ্টিমাইজেশন। কম্পিউটার বিজ্ঞান ও প্রকৌশল থেকে শুরু করে অপারেশন গবেষণা ও অর্থনীতি পর্যন্ত সমস্ত পরিমাণগত শাখায় অপ্টিমাইজেশনের সমস্যা দেখা দেয় এবং সমাধান পদ্ধতির বিকাশ বহু শতাব্দী ধরে গণিতে আগ্রহের বিষয় হয়ে দাঁড়িয়েছে। আরও সাধারণ পদ্ধতিতে, একটি অপ্টিমাইজেশান সমস্যা একটি অনুমোদিত সেটের মধ্যে থেকে পদ্ধতিগতভাবে ইনপুট মান নির্বাচন করে এবং ফাংশনের মান গণনা করে একটি বাস্তব ফাংশনকে সর্বাধিক বা ন্যূনতম করে তোলে। অন্যান্য ফর্মুলেশনে অপ্টিমাইজেশন তত্ত্ব এবং কৌশলগুলির সাধারণীকরণ ফলিত গণিতের একটি বড় ক্ষেত্র গঠন করে। আরও সাধারণভাবে, অপ্টিমাইজেশনের মধ্যে রয়েছে একটি সংজ্ঞায়িত ডোমেন (বা ইনপুট) দেওয়া কিছু উদ্দেশ্যমূলক ফাংশনের "সর্বোত্তম উপলব্ধ" মান খুঁজে বের করা, যার মধ্যে রয়েছে বিভিন্ন ধরনের উদ্দেশ্যমূলক ফাংশন এবং বিভিন্ন ধরনের ডোমেন। অপ্টিমাইজেশান সমস্যা অপ্টিমাইজেশান সমস্যাগুলিকে দুটি বিভাগে বিভক্ত করা যেতে পারে, যা নির্ভর করে ভেরিয়েবলগুলি অবিচ্ছিন্ন বা বিচ্ছিন্ন কিনা তার উপর নির্ভর করেঃ বিচ্ছিন্ন ভেরিয়েবলগুলির সাথে একটি অপ্টিমাইজেশান সমস্যা একটি বিচ্ছিন্ন অপ্টিমাইজেশান হিসাবে পরিচিত, যেখানে একটি পূর্ণসংখ্যা, ক্রমবিকাশ বা গ্রাফের মতো একটি বস্তু অবশ্যই একটি গণনাযোগ্য সেট থেকে পাওয়া উচিত। কন্টিনিউয়াস ভেরিয়েবলের একটি সমস্যা কন্টিনিউয়াস অপ্টিমাইজেশন হিসাবে পরিচিত, যেখানে একটি কন্টিনিউয়াস সেট থেকে সর্বোত্তম আর্গুমেন্ট খুঁজে বের করতে হবে। এগুলির মধ্যে সীমাবদ্ধ সমস্যা এবং বহুমুখী সমস্যা অন্তর্ভুক্ত থাকতে পারে। একটি অপ্টিমাইজেশান সমস্যাকে নিম্নলিখিত উপায়ে উপস্থাপন করা যেতে পারেঃ প্রদত্তঃ কিছু সেট থেকে প্রকৃত সংখ্যায় চাওয়া একটি ফাংশনঃ এমন একটি উপাদান যা সকলের জন্য ("মিনিমাইজেশন") বা সকলের জন্য ("ম্যাক্সিমাইজেশন")। এই ধরনের গঠনকে অপ্টিমাইজেশন সমস্যা বা গাণিতিক প্রোগ্রামিং সমস্যা বলা হয় (একটি শব্দ যা সরাসরি কম্পিউটার প্রোগ্রামিংয়ের সাথে সম্পর্কিত নয়, তবে এখনও ব্যবহৃত হয় উদাহরণস্বরূপ রৈখিক প্রোগ্রামিং-নীচে ইতিহাস দেখুন)। অনেক বাস্তব-জগতের এবং তাত্ত্বিক সমস্যা এই সাধারণ কাঠামোতে মডেল করা যেতে পারে। যেহেতু নিম্নলিখিতগুলি বৈধ, তাই এটি শুধুমাত্র ন্যূনতম সমস্যা সমাধানের জন্য যথেষ্ট। তবে, শুধুমাত্র সর্বাধিক সমস্যা বিবেচনা করার বিপরীত দৃষ্টিভঙ্গিও বৈধ হবে। পদার্থবিজ্ঞানের ক্ষেত্রে এই কৌশলটি ব্যবহার করে প্রণীত সমস্যাগুলি এই কৌশলটিকে শক্তি হ্রাস হিসাবে উল্লেখ করতে পারে, ফাংশনের মানকে মডেল করা হচ্ছে এমন সিস্টেমের শক্তির প্রতিনিধিত্ব করে। মেশিন লার্নিং-এ, সর্বদা একটি ব্যয় ফাংশন ব্যবহার করে একটি ডেটা মডেলের গুণমান ক্রমাগত মূল্যায়ন করা প্রয়োজন যেখানে ন্যূনতম একটি সর্বোত্তম (সর্বনিম্ন) ত্রুটি সহ সম্ভবত সর্বোত্তম পরামিতিগুলির একটি সেট বোঝায়। সাধারণত, ইউক্লিডীয় স্থানের কিছু উপসেট, যা প্রায়শই সীমাবদ্ধতা, সমতা বা বৈষম্যের একটি সেট দ্বারা নির্দিষ্ট করা হয় যা সদস্যদের সন্তুষ্ট করতে হয়। এর ডোমেনকে বলা হয় সার্চ স্পেস বা চয়েস সেট, অন্যদিকে এর উপাদানগুলিকে বলা হয় প্রার্থী সমাধান বা সম্ভাব্য সমাধান। ফাংশনটিকে বলা হয়, বিভিন্নভাবে, একটি উদ্দেশ্যমূলক ফাংশন, একটি ক্ষতি ফাংশন বা খরচ ফাংশন (ন্যূনতমকরণ), একটি ইউটিলিটি ফাংশন বা ফিটনেস ফাংশন (সর্বাধিককরণ), বা, নির্দিষ্ট ক্ষেত্রে, একটি শক্তি ফাংশন বা শক্তি কার্যকরী। একটি সম্ভাব্য সমাধান যা উদ্দেশ্যমূলক ক্রিয়াকে ন্যূনতম (বা সর্বাধিক, যদি এটি লক্ষ্য হয়) করে, তাকে সর্বোত্তম সমাধান বলা হয়। গণিতে, প্রচলিত অপ্টিমাইজেশান সমস্যাগুলি সাধারণত মিনিমাইজেশনের পরিপ্রেক্ষিতে বলা হয়। একটি স্থানীয় ন্যূনতমকে এমন একটি উপাদান হিসাবে সংজ্ঞায়িত করা হয় যার জন্য কিছু এমন রয়েছে যা অভিব্যক্তিটি ধারণ করে; অর্থাৎ, সমস্ত ফাংশনের মানগুলির চারপাশে কোনও অঞ্চলে সেই উপাদানটির মানের চেয়ে বেশি বা সমান। স্থানীয় ম্যাক্সিমা একইভাবে সংজ্ঞায়িত করা হয়। যদিও একটি স্থানীয় ন্যূনতম অন্তত নিকটবর্তী যে কোনও উপাদানের মতোই ভাল, একটি বৈশ্বিক ন্যূনতম অন্তত প্রতিটি সম্ভাব্য উপাদানের মতোই ভাল। সাধারণত, যদি কোনও মিনিমাইজেশন সমস্যায় অবজেক্টিভ ফাংশন উত্তল না হয়, তবে বেশ কয়েকটি স্থানীয় মিনিমা থাকতে পারে। একটি উত্তল সমস্যায়, যদি একটি স্থানীয় ন্যূনতম থাকে যা অভ্যন্তরীণ (সম্ভাব্য উপাদানগুলির সেটের প্রান্তে নয়), তবে এটি বৈশ্বিক ন্যূনতমও হতে পারে, তবে একটি অ-উত্তল সমস্যায় একাধিক স্থানীয় ন্যূনতম থাকতে পারে যার সবকটিরই বৈশ্বিক মিনিমা হওয়া প্রয়োজন নয়। নন-কনভেক্স সমস্যা সমাধানের জন্য প্রস্তাবিত বিপুল সংখ্যক অ্যালগরিদম-যার মধ্যে বেশিরভাগ বাণিজ্যিকভাবে উপলব্ধ সমাধানকারী-স্থানীয়ভাবে সর্বোত্তম সমাধান এবং বিশ্বব্যাপী সর্বোত্তম সমাধানের মধ্যে পার্থক্য করতে সক্ষম নয় এবং প্রথমটিকে মূল সমস্যার প্রকৃত সমাধান হিসাবে বিবেচনা করবে। গ্লোবাল অপ্টিমাইজেশন হল ফলিত গণিত এবং সংখ্যাসূচক বিশ্লেষণের শাখা যা নির্ধারণমূলক অ্যালগরিদমগুলির বিকাশের সাথে সম্পর্কিত যা একটি নন-কনভেক্স সমস্যার প্রকৃত সর্বোত্তম সমাধানের জন্য সীমাবদ্ধ সময়ে একত্রীকরণের নিশ্চয়তা দিতে সক্ষম। স্বরলিপির অনুকূলকরণ সমস্যাগুলি প্রায়শই বিশেষ স্বরলিপির মাধ্যমে প্রকাশ করা হয়। এখানে কয়েকটি উদাহরণ দেওয়া হলঃ একটি ফাংশনের ন্যূনতম এবং সর্বাধিক মান নিম্নলিখিত স্বরলিপিটি বিবেচনা করুনঃ বাস্তব সংখ্যার সেট থেকে বেছে নেওয়ার সময় এটি অবজেক্টিভ ফাংশনের ন্যূনতম মানকে বোঝায়। এই ক্ষেত্রে সর্বনিম্ন মান হল 1। একইভাবে, স্বরলিপিটি উদ্দেশ্যমূলক ফাংশনের সর্বাধিক মান জিজ্ঞাসা করে, যেখানে কোনও বাস্তব সংখ্যা হতে পারে। এই ক্ষেত্রে, উদ্দেশ্যমূলক ফাংশন সীমাহীন এমন কোনও সর্বোচ্চ নেই, তাই উত্তরটি হল "অনন্ত" বা "অনির্ধারিত"। সর্বোত্তম ইনপুট আর্গুমেন্টগুলি নিম্নলিখিত স্বরলিপি বিবেচনা করুনঃ বা সমতুল্যভাবে এটি ব্যবধানের মধ্যে আর্গুমেন্টের মান (বা মান) উপস্থাপন করে যা উদ্দেশ্যমূলক ফাংশনকে ন্যূনতম (বা ন্যূনতম) করে (সেই ফাংশনের প্রকৃত ন্যূনতম মান সমস্যাটি যা চায় তা নয়)। এই ক্ষেত্রে, উত্তরটি হল, যেহেতু এটি অসম্ভব, অর্থাৎ এটি সম্ভাব্য সেটের অন্তর্গত নয়। একইভাবে, বা সমতুল্যভাবে সেই জুটিকে (বা জোড়া) উপস্থাপন করে যা অবজেক্টিভ ফাংশনের মানকে সর্বাধিক (বা সর্বাধিক) করে, ব্যবধানের মধ্যে থাকা অতিরিক্ত সীমাবদ্ধতার সাথে (আবার, অভিব্যক্তিটির প্রকৃত সর্বোচ্চ মান কোন ব্যাপার না)। এই ক্ষেত্রে, সমাধানগুলি হল ফর্মের জোড়া এবং, যেখানে সমস্ত পূর্ণসংখ্যার পরিসীমা রয়েছে। অপারেটর এবং কখনও কখনও এবং হিসাবেও লেখা হয় এবং ন্যূনতম এবং সর্বাধিক যুক্তির পক্ষে দাঁড়ায়। ইতিহাস ফার্মাট এবং ল্যাগ্রাঞ্জ অপ্টিমা সনাক্ত করার জন্য ক্যালকুলাস-ভিত্তিক সূত্র খুঁজে পেয়েছেন, অন্যদিকে নিউটন এবং গাউস একটি সর্বোত্তম দিকে এগিয়ে যাওয়ার জন্য পুনরাবৃত্তিমূলক পদ্ধতির প্রস্তাব দিয়েছেন। নির্দিষ্ট অপ্টিমাইজেশনের ক্ষেত্রে "লিনিয়ার প্রোগ্রামিং" শব্দটি জর্জ বি. ড্যান্টজিগের কারণে ছিল, যদিও বেশিরভাগ তত্ত্ব 1939 সালে লিওনিড কান্টোরোভিচ দ্বারা প্রবর্তিত হয়েছিল। (এই প্রসঙ্গে প্রোগ্রামিং কম্পিউটার প্রোগ্রামিংকে বোঝায় না, তবে প্রস্তাবিত প্রশিক্ষণ এবং লজিস্টিক সময়সূচী বোঝাতে মার্কিন যুক্তরাষ্ট্রের সামরিক বাহিনীর প্রোগ্রামের ব্যবহার থেকে আসে, যা সেই সময়ে ড্যান্টজিগ অধ্যয়নরত সমস্যা ছিল।) ড্যান্টজিগ 1947 সালে সিম্প্লেক্স অ্যালগরিদম প্রকাশ করেন এবং জন ভন নিউম্যান একই বছরে দ্বৈততার তত্ত্ব তৈরি করেন। গাণিতিক অপ্টিমাইজেশনের অন্যান্য উল্লেখযোগ্য গবেষকদের মধ্যে নিম্নলিখিতগুলি অন্তর্ভুক্ত রয়েছেঃ রিচার্ড বেলম্যান দিমিত্রি বার্টসেকাস মিশেল বিয়ারলেয়ার রজার ফ্লেচার রোনাল্ড এ. হাওয়ার্ড ফ্রিটজ জন নরেন্দ্র কর্মকার উইলিয়াম কারুশ লিওনিড খাচিয়ান বার্নার্ড কুপম্যান হ্যারল্ড কুন লাস্লো লোভাস ডেভিড লুয়েনবার্গার আরকাডি নেমিরোভস্কি ইউরি নেস্টেরভ লেভ পন্ট্রিয়াগিন আর. টাইরেল রকাফেলার নাওম জেড। শোর অ্যালবার্ট টাকার মেজর সাবফিল্ডস কনভেক্স প্রোগ্রামিং কেসটি অধ্যয়ন করে যখন উদ্দেশ্যমূলক ফাংশন উত্তল (মিনিমাইজেশন) বা অবতল (সর্বাধিককরণ) হয় এবং সীমাবদ্ধতা সেটটি উত্তল হয়। এটিকে অরৈখিক প্রোগ্রামিংয়ের একটি নির্দিষ্ট ক্ষেত্রে বা রৈখিক বা উত্তল চতুর্ভুজ প্রোগ্রামিংয়ের সাধারণীকরণ হিসাবে দেখা যেতে পারে। লিনিয়ার প্রোগ্রামিং (এল. পি), এক ধরনের উত্তল প্রোগ্রামিং, সেই ক্ষেত্রে অধ্যয়ন করে যেখানে উদ্দেশ্যমূলক ফাংশন f রৈখিক এবং সীমাবদ্ধতাগুলি শুধুমাত্র রৈখিক সমতা এবং অসমতা ব্যবহার করে নির্দিষ্ট করা হয়। এই ধরনের সীমাবদ্ধতা সেটকে পলিহেড্রন বা পলিটোপ বলা হয় যদি এটি আবদ্ধ থাকে। সেকেন্ড অর্ডার শঙ্কু প্রোগ্রামিং (এস. ও. সি. পি) একটি উত্তল প্রোগ্রাম এবং এতে নির্দিষ্ট ধরনের দ্বিঘাত প্রোগ্রাম অন্তর্ভুক্ত রয়েছে। সেমিডিফাইনাইট প্রোগ্রামিং (এসডিপি) হল উত্তল অপ্টিমাইজেশনের একটি উপক্ষেত্র যেখানে অন্তর্নিহিত চলকগুলি সেমিডিফাইনাইট ম্যাট্রিক্স। এটি রৈখিক এবং উত্তল চতুর্ভুজ প্রোগ্রামিংয়ের একটি সাধারণীকরণ। কনিক প্রোগ্রামিং হল কনভেক্স প্রোগ্রামিংয়ের একটি সাধারণ রূপ। এল. পি, এস. ও. সি. পি এবং এস. ডি. পি-কে উপযুক্ত ধরনের শঙ্কু সহ শঙ্কু প্রোগ্রাম হিসাবে দেখা যেতে পারে। জ্যামিতিক প্রোগ্রামিং এমন একটি কৌশল যার মাধ্যমে বস্তুনিষ্ঠ এবং বৈষম্যের সীমাবদ্ধতাগুলি একনাম হিসাবে পজিনামিয়াল এবং সমতা সীমাবদ্ধতা হিসাবে প্রকাশ করা হয় যা একটি উত্তল প্রোগ্রামে রূপান্তরিত হতে পারে। পূর্ণসংখ্যা প্রোগ্রামিং রৈখিক প্রোগ্রামগুলি অধ্যয়ন করে যেখানে কিছু বা সমস্ত চলক পূর্ণসংখ্যার মান গ্রহণ করতে সীমাবদ্ধ থাকে। এটি উত্তল নয় এবং সাধারণভাবে নিয়মিত রৈখিক প্রোগ্রামিংয়ের তুলনায় অনেক বেশি কঠিন। চতুর্ভুজ প্রোগ্রামিং উদ্দেশ্যমূলক ফাংশনকে দ্বিঘাত পদ থাকতে দেয়, যেখানে সম্ভাব্য সেটটি অবশ্যই রৈখিক সমতা এবং বৈষম্যের সাথে নির্দিষ্ট করা আবশ্যক। চতুর্ভুজ শব্দের নির্দিষ্ট রূপগুলির জন্য, এটি এক ধরনের উত্তল প্রোগ্রামিং। ভগ্নাংশ প্রোগ্রামিং দুটি অরৈখিক ফাংশনের অনুপাতের অনুকূলকরণ অধ্যয়ন করে। অবতল ভগ্নাংশ প্রোগ্রামগুলির বিশেষ শ্রেণীকে উত্তল অপ্টিমাইজেশান সমস্যায় রূপান্তরিত করা যেতে পারে। অরৈখিক প্রোগ্রামিং সাধারণ ক্ষেত্রে অধ্যয়ন করে যেখানে উদ্দেশ্যমূলক ফাংশন বা সীমাবদ্ধতা বা উভয়ই অরৈখিক অংশ ধারণ করে। এটি একটি উত্তল প্রোগ্রাম হতে পারে বা নাও হতে পারে। সাধারণভাবে, প্রোগ্রামটি উত্তল কিনা তা সমাধানের অসুবিধাকে প্রভাবিত করে। স্টোকাস্টিক প্রোগ্রামিং সেই ক্ষেত্রে অধ্যয়ন করে যেখানে কিছু সীমাবদ্ধতা বা পরামিতি র্যান্ডম ভেরিয়েবলের উপর নির্ভর করে। শক্তিশালী অপ্টিমাইজেশন, স্টোকাস্টিক প্রোগ্রামিংয়ের মতো, অপ্টিমাইজেশান সমস্যার অন্তর্নিহিত ডেটাতে অনিশ্চয়তা ধরার একটি প্রচেষ্টা। শক্তিশালী অপ্টিমাইজেশনের লক্ষ্য হল এমন সমাধান খুঁজে বের করা যা একটি অনিশ্চয়তার সেট দ্বারা সংজ্ঞায়িত অনিশ্চয়তার সমস্ত সম্ভাব্য উপলব্ধির অধীনে বৈধ। সম্মিলিত অপ্টিমাইজেশান এমন সমস্যাগুলির সাথে সম্পর্কিত যেখানে সম্ভাব্য সমাধানগুলির সেটটি বিচ্ছিন্ন বা একটি পৃথক সমাধানে হ্রাস করা যেতে পারে। অনুসন্ধান প্রক্রিয়ায় এলোমেলো (কোলাহলপূর্ণ) ফাংশন পরিমাপ বা এলোমেলো ইনপুটগুলির সাথে স্টোকাস্টিক অপ্টিমাইজেশন ব্যবহার করা হয়। অসীম-মাত্রিক অপ্টিমাইজেশন সেই ক্ষেত্রে অধ্যয়ন করে যখন সম্ভাব্য সমাধানগুলির সেট একটি অসীম-মাত্রিক স্থানের উপসেট হয়, যেমন ফাংশনের স্থান। হিউরিস্টিক্স এবং মেটা হিউরিস্টিক্স সমস্যাটি অনুকূল হওয়ার বিষয়ে খুব কম বা কোনও অনুমান করে না। সাধারণত, অনুসন্ধানবিদ্যা কোনও সর্বোত্তম সমাধান খুঁজে পাওয়ার নিশ্চয়তা দেয় না। অন্যদিকে, হিউরিস্টিক্স অনেক জটিল অপ্টিমাইজেশান সমস্যার আনুমানিক সমাধান খুঁজে বের করতে ব্যবহৃত হয়। সীমাবদ্ধ সন্তুষ্টি সেই ক্ষেত্রে অধ্যয়ন করে যেখানে উদ্দেশ্যমূলক ফাংশন f ধ্রুবক (এটি কৃত্রিম বুদ্ধিমত্তায়, বিশেষত স্বয়ংক্রিয় যুক্তিতে ব্যবহৃত হয়)। কনস্ট্রেন্ট প্রোগ্রামিং একটি প্রোগ্রামিং দৃষ্টান্ত যেখানে ভেরিয়েবলের মধ্যে সম্পর্ক সীমাবদ্ধতার আকারে বর্ণিত হয়। ডিসজাংক্টিভ প্রোগ্রামিং ব্যবহার করা হয় যেখানে কমপক্ষে একটি সীমাবদ্ধতা অবশ্যই পূরণ করতে হবে তবে সবগুলি নয়। সময়সূচী নির্ধারণে এটি বিশেষভাবে কাজে লাগে। স্পেস ম্যাপিং হল একটি উপযুক্ত শারীরিকভাবে অর্থপূর্ণ মোটা বা সারোগেট মডেলকে কাজে লাগিয়ে উচ্চ-বিশ্বস্ততার (সূক্ষ্ম) মডেল নির্ভুলতার জন্য একটি ইঞ্জিনিয়ারিং সিস্টেমের মডেলিং এবং অপ্টিমাইজেশনের জন্য একটি ধারণা। বেশ কয়েকটি উপক্ষেত্রে, কৌশলগুলি প্রাথমিকভাবে গতিশীল প্রেক্ষাপটে অনুকূলকরণের জন্য ডিজাইন করা হয়েছে (অর্থাৎ, সময়ের সাথে সিদ্ধান্ত গ্রহণ): বৈচিত্র্যের ক্যালকুলাস কিছু লক্ষ্য অর্জনের সর্বোত্তম উপায় খুঁজে বের করার সাথে সম্পর্কিত, যেমন এমন একটি পৃষ্ঠ খুঁজে বের করা যার সীমানা একটি নির্দিষ্ট বক্ররেখা, তবে সর্বনিম্ন সম্ভাব্য এলাকা সহ। সর্বোত্তম নিয়ন্ত্রণ তত্ত্ব হল বৈচিত্র্যের গণনার একটি সাধারণীকরণ যা নিয়ন্ত্রণ নীতি প্রবর্তন করে। ডাইনামিক প্রোগ্রামিং হল স্টোকাস্টিক, র্যান্ডমনেস এবং অজানা মডেল প্যারামিটারগুলির সাথে স্টোকাস্টিক অপ্টিমাইজেশান সমস্যা সমাধানের পদ্ধতি। এটি সেই কেসটি অধ্যয়ন করে যেখানে অপ্টিমাইজেশান কৌশলটি সমস্যাটিকে ছোট ছোট উপ-সমস্যায় বিভক্ত করার উপর ভিত্তি করে। যে সমীকরণটি এই উপ-সমস্যাগুলির মধ্যে সম্পর্ক বর্ণনা করে তাকে বেলম্যান সমীকরণ বলা হয়। ভারসাম্য সীমাবদ্ধতার সাথে গাণিতিক প্রোগ্রামিং হল যেখানে সীমাবদ্ধতাগুলির মধ্যে বৈচিত্র্যময় বৈষম্য বা পরিপূরক অন্তর্ভুক্ত থাকে। মাল্টি-অবজেক্টিভ অপ্টিমাইজেশন একটি অপ্টিমাইজেশন সমস্যায় একাধিক উদ্দেশ্য যুক্ত করা জটিলতা যোগ করে। উদাহরণস্বরূপ, একটি কাঠামোগত নকশাকে অনুকূল করার জন্য, কেউ এমন একটি নকশা চাইবে যা হালকা এবং অনমনীয় উভয়ই। যখন দুটি উদ্দেশ্যের মধ্যে দ্বন্দ্ব দেখা দেয়, তখন অবশ্যই একটি সমঝোতা তৈরি করতে হবে। একটি হালকা নকশা, একটি শক্ত নকশা এবং অসীম সংখ্যক নকশা থাকতে পারে যা ওজন এবং অনমনীয়তার কিছুটা আপস। ট্রেড-অফ ডিজাইনের যে সেটটি অন্যটির ব্যয়ে একটি মানদণ্ডের উপর উন্নতি করে তা পারেটো সেট হিসাবে পরিচিত। সেরা নকশার কঠোরতার বিরুদ্ধে প্লটিং ওজন তৈরি করা বক্ররেখা পারেটো ফ্রন্টিয়ার নামে পরিচিত। একটি নকশাকে "পারেতো অপ্টিম্যাল" (সমতুল্যভাবে, "পারেতো দক্ষ" বা পারেতো সেট) হিসাবে বিচার করা হয় যদি এটি অন্য কোনও নকশার দ্বারা প্রভাবিত না হয়ঃ যদি এটি কিছু ক্ষেত্রে অন্য নকশার চেয়ে খারাপ হয় এবং কোনও ক্ষেত্রেই ভাল না হয়, তবে এটি প্রভাবিত হয় এবং পারেতো অপ্টিম্যাল নয়। "পছন্দের সমাধান" নির্ধারণের জন্য "পেরেটো অপ্টিমাল" সমাধানগুলির মধ্যে বেছে নেওয়ার দায়িত্ব সিদ্ধান্ত গ্রহণকারীকে দেওয়া হয়। অন্য কথায়, সমস্যাটিকে বহু-উদ্দেশ্যমূলক অপ্টিমাইজেশন হিসাবে সংজ্ঞায়িত করা ইঙ্গিত দেয় যে কিছু তথ্য অনুপস্থিতঃ কাঙ্ক্ষিত উদ্দেশ্য দেওয়া হয় তবে তাদের সংমিশ্রণগুলি একে অপরের সাথে আপেক্ষিকভাবে মূল্যায়ন করা হয় না। কিছু কিছু ক্ষেত্রে, অনুপস্থিত তথ্য সিদ্ধান্ত গ্রহণকারীর সঙ্গে কথোপকথনের মাধ্যমে পাওয়া যেতে পারে। মাল্টি-অবজেক্টিভ অপ্টিমাইজেশান সমস্যাগুলিকে ভেক্টর অপ্টিমাইজেশান সমস্যাগুলিতে আরও সাধারণীকরণ করা হয়েছে যেখানে (আংশিক) ক্রমটি পরেটো ক্রম দ্বারা আর দেওয়া হয় না। মাল্টি-মডেল বা গ্লোবাল অপ্টিমাইজেশন অপ্টিমাইজেশান সমস্যাগুলি প্রায়শই মাল্টি-মডেল হয়; অর্থাৎ, তাদের একাধিক ভাল সমাধান রয়েছে। এগুলি সবই বিশ্বব্যাপী ভাল হতে পারে (একই খরচ ফাংশন মান) অথবা বিশ্বব্যাপী ভাল এবং স্থানীয়ভাবে ভাল সমাধানের মিশ্রণ হতে পারে। মাল্টি-মডেল অপ্টিমাইজারের লক্ষ্য হল সমস্ত (বা কমপক্ষে কিছু) একাধিক সমাধান পাওয়া। তাদের পুনরাবৃত্তিমূলক পদ্ধতির কারণে ধ্রুপদী অপ্টিমাইজেশান কৌশলগুলি সন্তোষজনকভাবে সম্পাদন করে না যখন তারা একাধিক সমাধান পেতে ব্যবহৃত হয়, কারণ এটি নিশ্চিত নয় যে অ্যালগরিদমের একাধিক রানগুলিতে বিভিন্ন প্রারম্ভিক পয়েন্টের সাথেও বিভিন্ন সমাধান পাওয়া যাবে। বৈশ্বিক অপ্টিমাইজেশান সমস্যার সাধারণ পন্থা, যেখানে একাধিক স্থানীয় চরমসীমা উপস্থিত থাকতে পারে তার মধ্যে রয়েছে বিবর্তনীয় অ্যালগরিদম, বায়েসিয়ান অপ্টিমাইজেশন এবং সিমুলেটেড অ্যানিলিং। সমালোচনামূলক বিষয়গুলির শ্রেণিবিন্যাস এবং চরম সম্ভাব্যতা সমস্যা সন্তোষজনক সমস্যা, যাকে সম্ভাব্যতা সমস্যাও বলা হয়, তা হল উদ্দেশ্যমূলক মূল্য বিবেচনা না করে যে কোনও সম্ভাব্য সমাধান খুঁজে বের করার সমস্যা। এটিকে গাণিতিক অপ্টিমাইজেশনের বিশেষ কেস হিসাবে বিবেচনা করা যেতে পারে যেখানে প্রতিটি সমাধানের জন্য উদ্দেশ্যমূলক মান একই, এবং এইভাবে যে কোনও সমাধান সর্বোত্তম। অনেক অপ্টিমাইজেশান অ্যালগরিদমকে একটি সম্ভাব্য বিন্দু থেকে শুরু করতে হবে। এই ধরনের পয়েন্ট পাওয়ার একটি উপায় হল একটি শিথিল পরিবর্তনশীল ব্যবহার করে সম্ভাব্যতা শর্তগুলি শিথিল করা; যথেষ্ট শিথিলতার সাথে, যে কোনও প্রারম্ভিক পয়েন্ট সম্ভব। তারপর, সেই স্ল্যাক পরিবর্তনশীলকে কমিয়ে দিন যতক্ষণ না স্ল্যাকটি শূন্য বা ঋণাত্মক হয়। অস্তিত্ব কার্ল ওয়েয়ারস্ট্রাসের চরম মান উপপাদ্য বলে যে একটি কম্প্যাক্ট সেটের উপর একটি অবিচ্ছিন্ন বাস্তব-মূল্যবান ফাংশন তার সর্বোচ্চ এবং ন্যূনতম মান অর্জন করে। আরও সাধারণভাবে, একটি কম্প্যাক্ট সেটে একটি নিম্ন আধা-অবিচ্ছিন্ন ফাংশন তার সর্বনিম্ন অর্জন করে; একটি কম্প্যাক্ট সেটে একটি উপরের আধা-অবিচ্ছিন্ন ফাংশন তার সর্বোচ্চ বিন্দু বা দৃশ্য অর্জন করে। অনুকূলতার জন্য প্রয়োজনীয় শর্ত ফার্ম্যাটের একটি উপপাদ্য বলে যে অনিয়ন্ত্রিত সমস্যার অনুকূলতা স্থির বিন্দুতে পাওয়া যায়, যেখানে উদ্দেশ্যমূলক ফাংশনের প্রথম অন্তরজ বা গ্রেডিয়েন্ট শূন্য হয় (প্রথম অন্তরজ পরীক্ষা দেখুন)। আরও সাধারণভাবে, এগুলি সমালোচনামূলক বিন্দুতে পাওয়া যেতে পারে, যেখানে উদ্দেশ্যমূলক ফাংশনের প্রথম ডেরিভেটিভ বা গ্রেডিয়েন্ট শূন্য বা অনির্ধারিত, বা পছন্দ সেটের সীমানায়। একটি সমীকরণ (বা সমীকরণের সেট) যা বলে যে একটি অভ্যন্তরীণ সর্বোত্তম সময়ে প্রথম অন্তরজ (গুলি) সমান (গুলি) শূন্যকে 'প্রথম-ক্রমের শর্ত' বা প্রথম-ক্রমের শর্তগুলির একটি সেট বলা হয়। সমতা-সীমাবদ্ধ সমস্যাগুলির অনুকূলতা ল্যাগ্রাঞ্জ মাল্টিপ্লায়ার পদ্ধতি দ্বারা পাওয়া যেতে পারে। সমতা এবং/অথবা বৈষম্যের সীমাবদ্ধতার সমস্যাগুলির অনুকূলতা 'কারুশ-কুন-টাকার শর্ত' ব্যবহার করে পাওয়া যেতে পারে। অনুকূলতার জন্য পর্যাপ্ত শর্ত যদিও প্রথম ব্যুৎপত্তিগত পরীক্ষাটি চরম হতে পারে এমন পয়েন্টগুলি চিহ্নিত করে, তবে এই পরীক্ষাটি এমন একটি পয়েন্টকে আলাদা করে না যা সর্বনিম্ন এবং সর্বাধিক বা উভয়ই নয়। যখন অবজেক্টিভ ফাংশনটি দ্বিগুণ ডিফারেনশিয়েবল হয়, তখন এই ক্ষেত্রে দ্বিতীয় ডেরিভেটিভ বা দ্বিতীয় ডেরিভেটিভের ম্যাট্রিক্স (যাকে হেসিয়ান ম্যাট্রিক্স বলা হয়) অনিয়ন্ত্রিত সমস্যায়, বা অবজেক্টিভ ফাংশনের দ্বিতীয় ডেরিভেটিভের ম্যাট্রিক্স এবং সীমাবদ্ধ সমস্যায় বর্ডারড হেসিয়ান নামে পরিচিত সীমাবদ্ধতাগুলি পরীক্ষা করে আলাদা করা যেতে পারে। যে শর্তগুলি ম্যাক্সিমা বা মিনিমাকে অন্যান্য স্থির বিন্দু থেকে আলাদা করে, সেগুলিকে 'সেকেন্ড অর্ডার কন্ডিশন' বলা হয় ('সেকেন্ড ডেরিভেটিভ টেস্ট' দেখুন)। যদি একটি প্রার্থী সমাধান প্রথম-ক্রমের শর্তগুলি সন্তুষ্ট করে, তবে দ্বিতীয়-ক্রমের শর্তগুলির সন্তুষ্টি অন্তত স্থানীয় অনুকূলতা প্রতিষ্ঠার জন্য যথেষ্ট। অনুকূলতার সংবেদনশীলতা এবং ধারাবাহিকতা খামের উপপাদ্য বর্ণনা করে যে কোনও অন্তর্নিহিত পরামিতি পরিবর্তিত হলে একটি সর্বোত্তম সমাধানের মান কীভাবে পরিবর্তিত হয়। এই পরিবর্তন গণনা করার প্রক্রিয়াকে তুলনামূলক স্ট্যাটিক্স বলা হয়। ক্লড বার্জের সর্বাধিক উপপাদ্য (1963) অন্তর্নিহিত পরামিতিগুলির একটি ফাংশন হিসাবে একটি সর্বোত্তম সমাধানের ধারাবাহিকতা বর্ণনা করে। অপ্টিমাইজেশনের ক্যালকুলাস দ্বিগুণ-পার্থক্যযোগ্য ফাংশনের সাথে অনিয়ন্ত্রিত সমস্যার জন্য, কিছু সমালোচনামূলক পয়েন্ট খুঁজে বের করে পাওয়া যেতে পারে যেখানে উদ্দেশ্যমূলক ফাংশনের গ্রেডিয়েন্ট শূন্য (অর্থাৎ, স্থির পয়েন্ট)। আরও সাধারণভাবে, একটি শূন্য উপ-গ্রেডিয়েন্ট প্রত্যয়িত করে যে উত্তল ফাংশন এবং অন্যান্য স্থানীয়ভাবে লিপস্কিটজ ফাংশনগুলির সাথে ন্যূনতম সমস্যাগুলির জন্য একটি স্থানীয় ন্যূনতম পাওয়া গেছে। উপরন্তু, হেসিয়ান ম্যাট্রিক্সের নির্দিষ্টতা ব্যবহার করে সমালোচনামূলক বিন্দুগুলিকে শ্রেণীবদ্ধ করা যেতে পারেঃ যদি কোনও সমালোচনামূলক বিন্দুতে হেসিয়ান ধনাত্মক নির্দিষ্ট হয়, তবে বিন্দুটি একটি স্থানীয় সর্বনিম্ন; যদি হেসিয়ান ম্যাট্রিক্স ঋণাত্মক নির্দিষ্ট হয়, তবে বিন্দুটি একটি স্থানীয় সর্বাধিক; অবশেষে, যদি অনির্দিষ্ট হয়, তবে বিন্দুটি এক ধরনের স্যাডল বিন্দু। সীমাবদ্ধ সমস্যাগুলি প্রায়শই ল্যাগ্রাঞ্জ মাল্টিপ্লায়ারের সাহায্যে অনিয়ন্ত্রিত সমস্যায় রূপান্তরিত হতে পারে। ল্যাগ্রাঞ্জিয়ান শিথিলকরণ কঠিন সীমাবদ্ধ সমস্যার আনুমানিক সমাধানও প্রদান করতে পারে। যখন অবজেক্টিভ ফাংশনটি একটি উত্তল ফাংশন হয়, তখন যে কোনও স্থানীয় ন্যূনতমও একটি বৈশ্বিক ন্যূনতম হবে। উত্তল ফাংশনগুলি হ্রাস করার জন্য দক্ষ সংখ্যাসূচক কৌশল রয়েছে, যেমন অভ্যন্তরীণ-বিন্দু পদ্ধতি। গ্লোবাল কনভারজেন্স আরও সাধারণভাবে, যদি উদ্দেশ্যমূলক ফাংশনটি একটি দ্বিঘাত ফাংশন না হয়, তবে অনেক অপ্টিমাইজেশন পদ্ধতি অন্যান্য পদ্ধতি ব্যবহার করে নিশ্চিত করে যে পুনরাবৃত্তির কিছু ধারাবাহিকতা একটি সর্বোত্তম সমাধানে একত্রিত হয়। অভিসরণ নিশ্চিত করার জন্য প্রথম এবং এখনও জনপ্রিয় পদ্ধতিটি লাইন অনুসন্ধানের উপর নির্ভর করে, যা একটি মাত্রা বরাবর একটি ফাংশনকে অনুকূল করে তোলে। একত্রীকরণ নিশ্চিত করার জন্য একটি দ্বিতীয় এবং ক্রমবর্ধমান জনপ্রিয় পদ্ধতি বিশ্বাসের অঞ্চলগুলি ব্যবহার করে। লাইন অনুসন্ধান এবং বিশ্বাস অঞ্চল উভয়ই অ-পার্থক্যযোগ্য অপ্টিমাইজেশনের আধুনিক পদ্ধতিতে ব্যবহৃত হয়। সাধারণত, একটি গ্লোবাল অপ্টিমাইজার উন্নত স্থানীয় অপ্টিমাইজারের (যেমন বি. এফ. জি. এস) তুলনায় অনেক ধীর হয়, তাই প্রায়শই বিভিন্ন প্রারম্ভিক বিন্দু থেকে স্থানীয় অপ্টিমাইজার শুরু করে একটি দক্ষ গ্লোবাল অপ্টিমাইজার তৈরি করা যেতে পারে। গাণিতিক অপ্টিমাইজেশান কৌশল সমস্যা সমাধানের জন্য, গবেষকরা এমন অ্যালগরিদম ব্যবহার করতে পারেন যা সীমিত সংখ্যক ধাপে শেষ হয়, বা পুনরাবৃত্তিমূলক পদ্ধতি যা একটি সমাধানে একত্রিত হয় (কিছু নির্দিষ্ট শ্রেণীর সমস্যার উপর), বা অনুসন্ধান যা কিছু সমস্যার আনুমানিক সমাধান প্রদান করতে পারে (যদিও তাদের পুনরাবৃত্তির প্রয়োজন হয় না)। অপ্টিমাইজেশন অ্যালগরিদম জর্জ ড্যান্টজিগের সিম্প্লেক্স অ্যালগরিদম, যা সিম্প্লেক্স অ্যালগরিদমের লিনিয়ার প্রোগ্রামিং এক্সটেনশনের জন্য ডিজাইন করা হয়েছে, যা চতুর্ভুজ প্রোগ্রামিং এবং সিম্প্লেক্স অ্যালগরিদমের লিনিয়ার-ফ্র্যাকশনাল প্রোগ্রামিং ভেরিয়েন্টের জন্য ডিজাইন করা হয়েছে যা বিশেষত নেটওয়ার্ক অপ্টিমাইজেশনের জন্য উপযুক্ত কম্বিনেটোরিয়াল অ্যালগরিদম কোয়ান্টাম অপ্টিমাইজেশন অ্যালগরিদম পুনরাবৃত্তিমূলক পদ্ধতি অরৈখিক প্রোগ্রামিংয়ের সমস্যা সমাধানের জন্য ব্যবহৃত পুনরাবৃত্তিমূলক পদ্ধতিগুলি হেসিয়ান, গ্রেডিয়েন্ট বা শুধুমাত্র ফাংশন মানগুলির মূল্যায়ন করে কিনা তার উপর নির্ভর করে পৃথক হয়। হেসিয়ান (এইচ) এবং গ্রেডিয়েন্ট (জি) মূল্যায়ন করার সময় অভিসারের হার উন্নত হয়, যে ফাংশনগুলির জন্য এই পরিমাণগুলি বিদ্যমান এবং যথেষ্ট মসৃণভাবে পরিবর্তিত হয়, এই ধরনের মূল্যায়ন প্রতিটি পুনরাবৃত্তির গণনামূলক জটিলতা (বা গণনামূলক ব্যয়) বৃদ্ধি করে। কিছু ক্ষেত্রে, গণনামূলক জটিলতা অত্যধিক বেশি হতে পারে। অপ্টিমাইজারের জন্য একটি প্রধান মানদণ্ড হল প্রয়োজনীয় ফাংশন মূল্যায়নের সংখ্যা কারণ এটি প্রায়শই ইতিমধ্যে একটি বড় গণনামূলক প্রচেষ্টা, সাধারণত অপ্টিমাইজারের তুলনায় অনেক বেশি প্রচেষ্টা, যা মূলত এন ভেরিয়েবলের উপর কাজ করতে হয়। ডেরিভেটিভসগুলি এই ধরনের অপ্টিমাইজারগুলির জন্য বিস্তারিত তথ্য সরবরাহ করে, তবে গণনা করা আরও কঠিন, যেমন। গ্রেডিয়েন্টের আনুমানিক মূল্যায়নের জন্য কমপক্ষে এন + 1 ফাংশনের মূল্যায়ন প্রয়োজন। 2য় ডেরিভেটিভের আনুমানিক হিসাবের জন্য (হেসিয়ান ম্যাট্রিক্সে সংগৃহীত), ফাংশন মূল্যায়নের সংখ্যা N2-এর ক্রমে থাকে। নিউটনের পদ্ধতির জন্য দ্বিতীয়-ক্রমের ডেরিভেটিভ প্রয়োজন, তাই প্রতিটি পুনরাবৃত্তির জন্য, ফাংশন কলের সংখ্যা এন 2-এর ক্রমে থাকে, তবে একটি সহজ বিশুদ্ধ গ্রেডিয়েন্ট অপ্টিমাইজারের জন্য এটি কেবল এন। তবে, গ্রেডিয়েন্ট অপ্টিমাইজারদের সাধারণত নিউটনের অ্যালগরিদমের চেয়ে বেশি পুনরাবৃত্তির প্রয়োজন হয়। ফাংশন কলের সংখ্যার ক্ষেত্রে কোনটি সেরা তা সমস্যার উপর নির্ভর করে। যে পদ্ধতিগুলি হেসিয়ানদের (বা আনুমানিক হেসিয়ানদের, সীমাবদ্ধ পার্থক্য ব্যবহার করে) মূল্যায়ন করেঃ নিউটনের পদ্ধতি ক্রমিক দ্বিঘাত প্রোগ্রামিংঃ ছোট-মাঝারি স্কেল সীমাবদ্ধ সমস্যার জন্য একটি নিউটন-ভিত্তিক পদ্ধতি। কিছু সংস্করণ বড়-মাত্রিক সমস্যা পরিচালনা করতে পারে। অভ্যন্তরীণ বিন্দু পদ্ধতিঃ এটি সীমাবদ্ধ অপ্টিমাইজেশনের জন্য পদ্ধতির একটি বড় শ্রেণি, যার মধ্যে কিছু শুধুমাত্র (উপ) গ্রেডিয়েন্ট তথ্য ব্যবহার করে এবং অন্যগুলির জন্য হেসিয়ানদের মূল্যায়ন প্রয়োজন। যে পদ্ধতিগুলি গ্রেডিয়েন্ট বা আনুমানিক গ্রেডিয়েন্টগুলিকে কোনওভাবে (বা এমনকি সাবগ্রেডিয়েন্ট) মূল্যায়ন করেঃ ডিসেন্ট পদ্ধতির সমন্বয় করুনঃ অ্যালগরিদম যা প্রতিটি পুনরাবৃত্তিতে একটি একক স্থানাঙ্ক আপডেট করে কনজুগেট গ্রেডিয়েন্ট পদ্ধতিঃ বড় সমস্যার জন্য পুনরাবৃত্তিমূলক পদ্ধতি। (তত্ত্বগতভাবে, এই পদ্ধতিগুলি দ্বিঘাত উদ্দেশ্যমূলক ফাংশনের সাথে সীমাবদ্ধ সংখ্যক ধাপে শেষ হয়, তবে এই সীমাবদ্ধ সমাপ্তি সীমাবদ্ধ-নির্ভুল কম্পিউটারগুলিতে অনুশীলনে দেখা যায় না।) গ্রেডিয়েন্ট ডিসেন্ট (বিকল্পভাবে, "স্টিপেস্ট ডিসেন্ট" বা "স্টিপেস্ট অ্যাসেন্ট"): ঐতিহাসিক এবং তাত্ত্বিক আগ্রহের একটি (ধীর) পদ্ধতি, যা বিশাল সমস্যার আনুমানিক সমাধান খুঁজে বের করার জন্য নতুন করে আগ্রহ জাগিয়েছে। উপ-গ্রেডিয়েন্ট পদ্ধতিঃ সাধারণীকৃত গ্রেডিয়েন্ট ব্যবহার করে স্থানীয়ভাবে বড় লিপস্কিটজ ফাংশনের জন্য একটি পুনরাবৃত্তিমূলক পদ্ধতি। বরিস টি. পলিয়াক অনুসরণ করে, সাব-গ্রেডিয়েন্ট-প্রজেকশন পদ্ধতিগুলি কনজুগেট-গ্রেডিয়েন্ট পদ্ধতির অনুরূপ। অবতরণের বান্ডেল পদ্ধতিঃ স্থানীয়ভাবে লিপশিটজ ফাংশনের সাথে ছোট-মাঝারি আকারের সমস্যার জন্য একটি পুনরাবৃত্তিমূলক পদ্ধতি, বিশেষত উত্তল হ্রাসকরণ সমস্যার জন্য (কনজুগেট গ্রেডিয়েন্ট পদ্ধতির অনুরূপ)। উপবৃত্তাকার পদ্ধতিঃ কোয়াসিকোভেক্স উদ্দেশ্যমূলক ফাংশন এবং মহান তাত্ত্বিক আগ্রহের সাথে ছোট সমস্যার জন্য একটি পুনরাবৃত্তিমূলক পদ্ধতি, বিশেষ করে কিছু সমন্বিত অপ্টিমাইজেশান সমস্যার বহুপদী সময় জটিলতা প্রতিষ্ঠার ক্ষেত্রে। এর সঙ্গে কোয়াসি-নিউটন পদ্ধতির মিল রয়েছে। শর্তসাপেক্ষ গ্রেডিয়েন্ট পদ্ধতি (ফ্রাঙ্ক-ওল্ফ) রৈখিক সীমাবদ্ধতার সাথে বিশেষভাবে কাঠামোগত সমস্যাগুলির আনুমানিক ন্যূনতমকরণের জন্য, বিশেষত ট্র্যাফিক নেটওয়ার্কগুলির সাথে। সাধারণ অনিয়ন্ত্রিত সমস্যার জন্য, এই পদ্ধতিটি গ্রেডিয়েন্ট পদ্ধতিতে হ্রাস পায়, যা অপ্রচলিত হিসাবে বিবেচিত হয় (প্রায় সমস্ত সমস্যার জন্য)। আধা-নিউটন পদ্ধতিঃ মাঝারি-বড় সমস্যার জন্য পুনরাবৃত্তিমূলক পদ্ধতি (যেমন। এন <1000)। স্টোকাস্টিক অপ্টিমাইজেশনের জন্য একযোগে বিশৃঙ্খলা স্টোকাস্টিক আনুমানিক (এস. পি. এস. এ) পদ্ধতি; এলোমেলো (দক্ষ) গ্রেডিয়েন্ট আনুমানিক ব্যবহার করে। যে পদ্ধতিগুলি শুধুমাত্র ফাংশনের মানগুলি মূল্যায়ন করেঃ যদি কোনও সমস্যা ক্রমাগত ডিফারেনশিয়েবল হয়, তবে সীমাবদ্ধ পার্থক্য ব্যবহার করে গ্রেডিয়েন্টগুলি আনুমানিক করা যেতে পারে, সেক্ষেত্রে একটি গ্রেডিয়েন্ট-ভিত্তিক পদ্ধতি ব্যবহার করা যেতে পারে। ইন্টারপোলেশন পদ্ধতি প্যাটার্ন অনুসন্ধান পদ্ধতি, যার নেল্ডার-মেড হিউরিস্টিক (সরলীকরণ সহ) এর চেয়ে ভাল অভিসরণ বৈশিষ্ট্য রয়েছে, যা নীচে তালিকাভুক্ত করা হয়েছে। মিরর ডিসেন্ট হিউরিস্টিক্স অ্যালগরিদম এবং (কনভার্জেন্ট) পুনরাবৃত্তিমূলক পদ্ধতি ছাড়াও হিউরিস্টিক্স রয়েছে। হিউরিস্টিক হল এমন কোনও অ্যালগরিদম যা সমাধান খুঁজে বের করার (গাণিতিকভাবে) নিশ্চয়তা দেয় না, তবে তা সত্ত্বেও নির্দিষ্ট কিছু ব্যবহারিক পরিস্থিতিতে কার্যকর। কিছু সুপরিচিত হিউরিস্টিক্সের তালিকাঃ ডিফারেনশিয়াল বিবর্তন গতিশীল শিথিলতা বিবর্তনীয় অ্যালগরিদম জেনেটিক অ্যালগরিদম এলোমেলোভাবে পুনরায় চালু মেমেটিক অ্যালগরিদমের সাথে পাহাড়ে আরোহণ নেল্ডার-মেড সরল হিউরিস্টিকঃ আনুমানিক ন্যূনতমকরণের জন্য একটি জনপ্রিয় হিউরিস্টিক (গ্রেডিয়েন্ট কল না করে) কণা ঝাঁক অপ্টিমাইজেশন সিমুলেটেড অ্যানিলিং স্টোকাস্টিক টানেলিং টাবু অনুসন্ধান অ্যাপ্লিকেশন মেকানিক্স অনমনীয় দেহের গতিবিদ্যার সমস্যাগুলির (বিশেষত স্পষ্টভাবে কঠোর দেহের গতিবিদ্যা) প্রায়শই গাণিতিক প্রোগ্রামিং কৌশল প্রয়োজন হয়, যেহেতু আপনি অনমনীয় দেহের গতিবিদ্যাকে একটি সীমাবদ্ধ বহুগুণের উপর একটি সাধারণ ডিফারেনশিয়াল সমীকরণ সমাধান করার চেষ্টা হিসাবে দেখতে পারেন; সীমাবদ্ধতাগুলি বিভিন্ন অরৈখিক জ্যামিতিক সীমাবদ্ধতা যেমন "এই দুটি বিন্দু সর্বদা মিলিত হওয়া উচিত", "এই পৃষ্ঠটি অন্য কোনও প্রবেশ করা উচিত নয়। এছাড়াও, যোগাযোগ শক্তি গণনা করার সমস্যাটি একটি রৈখিক পরিপূরক সমস্যা সমাধানের মাধ্যমে করা যেতে পারে, যা একটি কিউপি (চতুর্ভুজ প্রোগ্রামিং) সমস্যা হিসাবেও দেখা যেতে পারে। অনেক নকশা সমস্যা অপ্টিমাইজেশন প্রোগ্রাম হিসাবেও প্রকাশ করা যেতে পারে। এই অ্যাপ্লিকেশনটিকে ডিজাইন অপ্টিমাইজেশন বলা হয়। একটি উপসেট হল ইঞ্জিনিয়ারিং অপ্টিমাইজেশন, এবং এই ক্ষেত্রের আরেকটি সাম্প্রতিক এবং ক্রমবর্ধমান উপসেট হল মাল্টিডিসিপ্লিনারি ডিজাইন অপ্টিমাইজেশন, যা অনেক সমস্যায় কার্যকর হলেও, বিশেষ করে মহাকাশ প্রকৌশল সমস্যার ক্ষেত্রে প্রয়োগ করা হয়েছে। এই পদ্ধতিটি মহাজাগতিক এবং জ্যোতিঃপদার্থবিজ্ঞানে প্রয়োগ করা যেতে পারে। অর্থনীতি এবং অর্থ অর্থনীতি এজেন্টদের অপ্টিমাইজেশনের সাথে ঘনিষ্ঠভাবে যুক্ত যে একটি প্রভাবশালী সংজ্ঞা সম্পর্কিতভাবে অর্থনীতি এবং বিজ্ঞানকে বিকল্প ব্যবহারের সাথে "লক্ষ্য এবং দুর্লভ উপায়ের মধ্যে সম্পর্ক হিসাবে মানুষের আচরণের অধ্যয়ন" হিসাবে বর্ণনা করে। আধুনিক অপ্টিমাইজেশন তত্ত্বের মধ্যে ঐতিহ্যবাহী অপ্টিমাইজেশন তত্ত্ব অন্তর্ভুক্ত রয়েছে তবে গেম তত্ত্ব এবং অর্থনৈতিক ভারসাম্য অধ্যয়নের সাথেও ওভারল্যাপ করে। জার্নাল অফ ইকোনমিক লিটারেচার কোডগুলি জেইএলঃ সি61-সি63-এর অধীনে গাণিতিক প্রোগ্রামিং, অপ্টিমাইজেশন কৌশল এবং সম্পর্কিত বিষয়গুলিকে শ্রেণীবদ্ধ করে। ক্ষুদ্রঅর্থনীতিতে, উপযোগিতা সর্বাধিককরণ সমস্যা এবং এর দ্বৈত সমস্যা, ব্যয় হ্রাস সমস্যা হল অর্থনৈতিক অনুকূলকরণ সমস্যা। যতদূর পর্যন্ত তারা ধারাবাহিকভাবে আচরণ করে, ভোক্তাদের তাদের উপযোগিতা সর্বাধিক করার জন্য ধরে নেওয়া হয়, অন্যদিকে সংস্থাগুলি সাধারণত তাদের মুনাফা সর্বাধিক করার জন্য ধরে নেওয়া হয়। এছাড়াও, এজেন্টদের প্রায়শই ঝুঁকি-বিরোধী হিসাবে মডেল করা হয়, যার ফলে ঝুঁকি এড়াতে পছন্দ করা হয়। সম্পদের দামগুলি অপ্টিমাইজেশন তত্ত্ব ব্যবহার করে মডেল করা হয়, যদিও অন্তর্নিহিত গণিত স্ট্যাটিক অপ্টিমাইজেশনের পরিবর্তে স্টোকাস্টিক প্রক্রিয়াগুলিকে অপ্টিমাইজ করার উপর নির্ভর করে। আন্তর্জাতিক বাণিজ্য তত্ত্ব দেশগুলির মধ্যে বাণিজ্যের ধরণ ব্যাখ্যা করতে অপ্টিমাইজেশানও ব্যবহার করে। পোর্টফোলিওগুলির অপ্টিমাইজেশন অর্থনীতিতে বহু-উদ্দেশ্যমূলক অপ্টিমাইজেশনের একটি উদাহরণ। 1970-এর দশক থেকে অর্থনীতিবিদরা নিয়ন্ত্রণ তত্ত্ব ব্যবহার করে সময়ের সাথে সাথে গতিশীল সিদ্ধান্তের মডেল তৈরি করেছেন। উদাহরণস্বরূপ, শ্রম-বাজারের আচরণ অধ্যয়নের জন্য গতিশীল অনুসন্ধান মডেল ব্যবহার করা হয়। একটি গুরুত্বপূর্ণ পার্থক্য হল নির্ধারক এবং অপ্রচলিত মডেলের মধ্যে। সামষ্টিক অর্থনীতিবিদরা ডাইনামিক স্টোকাস্টিক জেনারেল ইকুইলিব্রিয়াম (ডি. এস. জি. ই) মডেল তৈরি করেন যা শ্রমিক, ভোক্তা, বিনিয়োগকারী এবং সরকারের আন্তঃনির্ভরশীল অনুকূল সিদ্ধান্তের ফলস্বরূপ সমগ্র অর্থনীতির গতিশীলতাকে বর্ণনা করে। বৈদ্যুতিক প্রকৌশল বৈদ্যুতিক প্রকৌশলের অনুকূলকরণ কৌশলগুলির কিছু সাধারণ প্রয়োগের মধ্যে রয়েছে সক্রিয় ফিল্টার নকশা, অতিপরিবাহী চৌম্বকীয় শক্তি সঞ্চয় ব্যবস্থায় বিপথগামী ক্ষেত্র হ্রাস, মাইক্রোওয়েভ কাঠামোর স্পেস ম্যাপিং নকশা, হ্যান্ডসেট অ্যান্টেনা, বৈদ্যুতিন চৌম্বক-ভিত্তিক নকশা। 1993 সালে স্পেস ম্যাপিং আবিষ্কারের পর থেকে মাইক্রোওয়েভ উপাদান এবং অ্যান্টেনার বৈদ্যুতিন চৌম্বকীয়ভাবে বৈধ নকশা অপ্টিমাইজেশন একটি উপযুক্ত পদার্থবিজ্ঞান-ভিত্তিক বা পরীক্ষামূলক সারোগেট মডেল এবং স্পেস ম্যাপিং পদ্ধতির ব্যাপক ব্যবহার করেছে। সিভিল ইঞ্জিনিয়ারিং অপ্টিমাইজেশন সিভিল ইঞ্জিনিয়ারিংয়ে ব্যাপকভাবে ব্যবহৃত হয়েছে। নির্মাণ ব্যবস্থাপনা এবং পরিবহন প্রকৌশল সিভিল ইঞ্জিনিয়ারিংয়ের প্রধান শাখাগুলির মধ্যে রয়েছে যা অপ্টিমাইজেশনের উপর ব্যাপকভাবে নির্ভর করে। সবচেয়ে সাধারণ সিভিল ইঞ্জিনিয়ারিং সমস্যাগুলি যা অপ্টিমাইজেশনের মাধ্যমে সমাধান করা হয় সেগুলি হল রাস্তা কাটা এবং ভরাট করা, কাঠামো এবং অবকাঠামোর জীবনচক্র বিশ্লেষণ, সম্পদ সমতলকরণ, জল সম্পদ বরাদ্দ, ট্র্যাফিক পরিচালনা এবং সময়সূচী অপ্টিমাইজেশন। অপারেশন গবেষণা আরেকটি ক্ষেত্র যা অপ্টিমাইজেশন কৌশলগুলি ব্যাপকভাবে ব্যবহার করে তা হল অপারেশন গবেষণা। অপারেশন গবেষণা উন্নত সিদ্ধান্ত গ্রহণে সহায়তা করার জন্য স্টোকাস্টিক মডেলিং এবং সিমুলেশন ব্যবহার করে। ক্রমবর্ধমানভাবে, অপারেশন গবেষণা ঘটনাগুলির সাথে খাপ খাইয়ে নেওয়া গতিশীল সিদ্ধান্তগুলির মডেল তৈরি করতে স্টোকাস্টিক প্রোগ্রামিং ব্যবহার করে; এই ধরনের সমস্যাগুলি বড় আকারের অপ্টিমাইজেশন এবং স্টোকাস্টিক অপ্টিমাইজেশন পদ্ধতির মাধ্যমে সমাধান করা যেতে পারে। কন্ট্রোল ইঞ্জিনিয়ারিং গাণিতিক অপ্টিমাইজেশান অনেক আধুনিক নিয়ামক নকশায় ব্যবহৃত হয়। মডেল প্রেডিক্টিভ কন্ট্রোল (এম. পি. সি) বা রিয়েল-টাইম অপ্টিমাইজেশনের (আর. টি. ও) মতো উচ্চ-স্তরের নিয়ন্ত্রকরা গাণিতিক অপ্টিমাইজেশান ব্যবহার করে। এই অ্যালগরিদমগুলি অনলাইনে চলে এবং বারবার সিদ্ধান্তের চলকগুলির জন্য মান নির্ধারণ করে, যেমন একটি প্রসেস প্লান্টে চোক ওপেনিং, সীমাবদ্ধতাগুলি এবং নিয়ন্ত্রিত সিস্টেমের একটি মডেল সহ একটি গাণিতিক অপ্টিমাইজেশান সমস্যা পুনরাবৃত্তিমূলকভাবে সমাধান করে। জিওফিজিক্স অপ্টিমাইজেশন কৌশলগুলি নিয়মিতভাবে জিওফিজিক্যাল প্যারামিটার অনুমানের সমস্যাগুলিতে ব্যবহৃত হয়। ভূ-প্রাকৃতিক পরিমাপের একটি সেট দেওয়া হয়েছে, যেমন। ভূমিকম্পের রেকর্ডিং, অন্তর্নিহিত পাথর এবং তরলের ভৌত বৈশিষ্ট্য এবং জ্যামিতিক আকারের জন্য সমাধান করা সাধারণ। ভূ-পদার্থবিজ্ঞানের বেশিরভাগ সমস্যা অ-রৈখিক এবং নির্ধারক এবং অপ্রচলিত উভয় পদ্ধতিই ব্যাপকভাবে ব্যবহৃত হয়। আণবিক মডেলিং নন-লিনিয়ার অপ্টিমাইজেশন পদ্ধতিগুলি গঠনমূলক বিশ্লেষণে ব্যাপকভাবে ব্যবহৃত হয়। গণনামূলক পদ্ধতি জীববিজ্ঞান অপ্টিমাইজেশন কৌশলগুলি গণনামূলক পদ্ধতি জীববিজ্ঞানের অনেক দিক যেমন মডেল নির্মাণ, সর্বোত্তম পরীক্ষামূলক নকশা, বিপাকীয় প্রকৌশল এবং সিন্থেটিক জীববিজ্ঞানে ব্যবহৃত হয়। গাঁজন পণ্যগুলির সর্বাধিক সম্ভাব্য ফলন গণনা করতে এবং একাধিক মাইক্রো অ্যারে ডেটাসেটের পাশাপাশি উচ্চ-থ্রুপুট ডেটা থেকে প্রতিলিপি নিয়ন্ত্রক নেটওয়ার্কগুলি থেকে জিন নিয়ন্ত্রক নেটওয়ার্কগুলি অনুমান করতে রৈখিক প্রোগ্রামিং প্রয়োগ করা হয়েছে। অ-রৈখিক প্রোগ্রামিং শক্তি বিপাক বিশ্লেষণ করতে ব্যবহৃত হয়েছে এবং বিপাকীয় প্রকৌশল এবং জৈব রাসায়নিক পথে পরামিতি অনুমানের ক্ষেত্রে প্রয়োগ করা হয়েছে। মেশিন লার্নিং সমাধানকারী আরও দেখুন ব্রাকিস্টোক্রোন কার্ভ ফিটিং নির্ধারণমূলক বৈশ্বিক অপ্টিমাইজেশন লক্ষ্য প্রোগ্রামিং অপ্টিমাইজেশনে গুরুত্বপূর্ণ প্রকাশনা ন্যূনতম বর্গ গাণিতিক অপ্টিমাইজেশন সোসাইটি (পূর্বে গাণিতিক প্রোগ্রামিং সোসাইটি) গাণিতিক অপ্টিমাইজেশন অ্যালগরিদম গাণিতিক অপ্টিমাইজেশন সফ্টওয়্যার প্রক্রিয়া অপ্টিমাইজেশন সিমুলেশন-ভিত্তিক অপ্টিমাইজেশন অপ্টিমাইজেশনের জন্য পরীক্ষা ফাংশন বৈচিত্র্যমূলক ক্যালকুলাস যানবাহন রাউটিং সমস্যা নোট আরও পড়া বাহ্যিক লিঙ্ক অপ্টিমাইজেশনের উৎস কোড অপারেশন গবেষণা অপ্টিমাইজেশনের লিঙ্ক