Hierarchical Dirichlet process
পরিসংখ্যান এবং মেশিন লার্নিং-এ, হায়ারার্কিকাল ডিরিচলেট প্রসেস (এইচ. ডি. পি) হল গোষ্ঠীভুক্ত ডেটা ক্লাস্টার করার জন্য একটি ননপ্যারামেট্রিক বায়েসিয়ান পদ্ধতি। এটি তথ্যের প্রতিটি গোষ্ঠীর জন্য একটি ডিরিচলেট প্রক্রিয়া ব্যবহার করে, সমস্ত গোষ্ঠীর জন্য ডিরিচলেট প্রক্রিয়া একটি বেস ডিস্ট্রিবিউশন ভাগ করে নেয় যা নিজেই একটি ডিরিচলেট প্রক্রিয়া থেকে নেওয়া হয়। এই পদ্ধতিটি গোষ্ঠীগুলিকে গোষ্ঠীগুলির মধ্যে ক্লাস্টার ভাগ করে নেওয়ার মাধ্যমে পরিসংখ্যানগত শক্তি ভাগ করে নেওয়ার অনুমতি দেয়। একটি ডিরিচলেট প্রক্রিয়া থেকে আঁকা বেস ডিস্ট্রিবিউশন গুরুত্বপূর্ণ, কারণ একটি ডিরিচলেট প্রক্রিয়া থেকে টানা পারমাণবিক সম্ভাব্যতা পরিমাপ, এবং পরমাণুগুলি সমস্ত গ্রুপ-স্তরের ডিরিচলেট প্রক্রিয়াগুলিতে উপস্থিত হবে। যেহেতু প্রতিটি পরমাণু একটি গুচ্ছের সাথে মিলে যায়, তাই গুচ্ছগুলি সমস্ত গোষ্ঠীতে ভাগ করা হয়। এটি ইয়ে হোয়ে তেহ, মাইকেল আই জর্ডান, ম্যাথিউ জে বিল এবং ডেভিড ব্লেই দ্বারা বিকশিত হয়েছিল এবং 2002 সালে প্রকাশিত অসীম লুকানো মার্কভ মডেলের আনুষ্ঠানিকতা এবং সাধারণীকরণ হিসাবে 2006 সালে আমেরিকান স্ট্যাটিস্টিক্যাল অ্যাসোসিয়েশনের জার্নালে প্রকাশিত হয়েছিল। মডেল এই মডেলের বিবরণ থেকে নেওয়া হয়েছে। এইচ. ডি. পি হল গোষ্ঠীভুক্ত তথ্যের একটি মডেল। এর অর্থ হল যে ডেটা আইটেমগুলি একাধিক স্বতন্ত্র গোষ্ঠীতে আসে। উদাহরণস্বরূপ, একটি বিষয়ের মডেলে শব্দগুলিকে নথিতে সাজানো হয়, প্রতিটি নথিকে শব্দের (ডেটা আইটেম) একটি ব্যাগ (গ্রুপ) দ্বারা তৈরি করা হয়। ধরে নিন যে প্রতিটি গোষ্ঠী ডেটা আইটেম নিয়ে গঠিত। এইচডিপি একটি বেস ডিস্ট্রিবিউশন দ্বারা প্যারামিটারাইজ করা হয় যা ডেটা আইটেমগুলির উপর একটি অগ্রাধিকার বিতরণ পরিচালনা করে এবং বেশ কয়েকটি ঘনত্বের পরামিতি যা ক্লাস্টারের একটি অগ্রাধিকার সংখ্যা এবং গোষ্ঠী জুড়ে ভাগ করে নেওয়ার পরিমাণ পরিচালনা করে। তম গ্রুপটি একটি এলোমেলো সম্ভাব্যতা পরিমাপের সাথে যুক্ত যার একটি ডিরিচলেট প্রক্রিয়া দ্বারা বিতরণ করা হয়েছেঃ গ্রুপের সাথে সম্পর্কিত ঘনত্বের পরামিতিটি কোথায়, এবং এটি সমস্ত গোষ্ঠী জুড়ে ভাগ করা ভিত্তি বিতরণ। পরিবর্তে, সাধারণ বেস ডিস্ট্রিবিউশন হল ডিরিচলেট প্রক্রিয়া বিতরণঃ ঘনত্ব পরামিতি এবং বেস ডিস্ট্রিবিউশন সহ। পরিশেষে, ডিরিচলেট প্রক্রিয়াগুলিকে পর্যবেক্ষিত তথ্যের সাথে সম্পর্কিত করার জন্য, প্রতিটি তথ্য আইটেম একটি সুপ্ত পরামিতির সাথে যুক্তঃ প্রথম লাইনে বলা হয়েছে যে প্রতিটি পরামিতির একটি পূর্ববর্তী বিতরণ রয়েছে, যেখানে দ্বিতীয় লাইনে বলা হয়েছে যে প্রতিটি তথ্য আইটেমের একটি বিতরণ পরামিতি রয়েছে যা তার সম্পর্কিত পরামিতি দ্বারা নির্ধারিত। উপরের ফলস্বরূপ মডেলটিকে এইচডিপি মিশ্রণ মডেল বলা হয়, এইচডিপি ডিরিচলেট প্রক্রিয়াগুলির শ্রেণিবদ্ধভাবে সংযুক্ত সেটকে বোঝায় এবং মিশ্রণ মডেলটি ডিরিচলেট প্রক্রিয়াগুলি ডেটা আইটেমগুলির সাথে সম্পর্কিত উপায়কে বোঝায়। এইচডিপি কীভাবে একটি ক্লাস্টারিং মডেল প্রয়োগ করে এবং কীভাবে ক্লাস্টারগুলি গোষ্ঠীগুলির মধ্যে ভাগ করা হয় তা বোঝার জন্য, মনে রাখবেন যে একটি ডিরিচলেট প্রক্রিয়া থেকে ড্রগুলি সম্ভাব্যতা সহ পারমাণবিক সম্ভাব্যতা পরিমাপ। এর মানে হল যে সাধারণ ক্ষার বণ্টনের একটি রূপ রয়েছে যা এইভাবে লেখা যেতে পারেঃ যেখানে অসীম সংখ্যক পরমাণু রয়েছে, ধরে নেওয়া যায় যে সামগ্রিক ক্ষার বণ্টনের অসীম সমর্থন রয়েছে। প্রতিটি পরমাণু একটি ভরের সঙ্গে যুক্ত। ভরগুলির যোগফল এক হতে হবে কারণ এটি একটি সম্ভাব্যতা পরিমাপ। যেহেতু এটি গ্রুপ নির্দিষ্ট ডিরিচলেট প্রক্রিয়াগুলির জন্য বেস ডিস্ট্রিবিউশন, তাই প্রত্যেকটির পরমাণু দ্বারা প্রদত্ত পরমাণু থাকবে এবং নিজেই এই আকারে লেখা যেতে পারেঃ সুতরাং পরমাণুর সেটটি সমস্ত গোষ্ঠীতে ভাগ করা হয়, প্রতিটি গোষ্ঠীর নিজস্ব গ্রুপ-নির্দিষ্ট পরমাণু ভর থাকে। এই উপস্থাপনাটিকে পর্যবেক্ষিত তথ্যের সাথে সম্পর্কিত করে, আমরা দেখতে পাই যে প্রতিটি তথ্য আইটেম একটি মিশ্রণ মডেল দ্বারা বর্ণনা করা হয়েছেঃ যেখানে পরমাণুগুলি মিশ্রণ উপাদান পরামিতিগুলির ভূমিকা পালন করে, যেখানে ভরগুলি মিশ্রণ অনুপাতের ভূমিকা পালন করে। উপসংহারে, তথ্যের প্রতিটি গোষ্ঠী একটি মিশ্রণ মডেল ব্যবহার করে মডেল করা হয়, মিশ্র উপাদানগুলি সমস্ত গোষ্ঠী জুড়ে ভাগ করা হয় তবে মিশ্রণ অনুপাতগুলি গোষ্ঠী-নির্দিষ্ট হয়। ক্লাস্টারিং পরিভাষায়, আমরা প্রতিটি মিশ্রণ উপাদানকে ডেটা আইটেমের একটি গুচ্ছের মডেলিং হিসাবে ব্যাখ্যা করতে পারি, যেখানে সমস্ত গোষ্ঠী জুড়ে ক্লাস্টারগুলি ভাগ করা হয় এবং প্রতিটি গোষ্ঠীর নিজস্ব মিশ্রণ অনুপাত থাকে, যা ক্লাস্টারের বিভিন্ন সংমিশ্রণ নিয়ে গঠিত। প্রয়োগ এইচ. ডি. পি মিশ্রণ মডেল হল সুপ্ত ডিরিচলেট বরাদ্দের একটি প্রাকৃতিক ননপ্যারামেট্রিক সাধারণীকরণ, যেখানে বিষয়ের সংখ্যা সীমাহীন এবং তথ্য থেকে শেখা যেতে পারে। এখানে প্রতিটি গোষ্ঠী শব্দের একটি ব্যাগ নিয়ে গঠিত একটি নথি, প্রতিটি গুচ্ছ একটি বিষয় এবং প্রতিটি নথি বিষয়ের মিশ্রণ। এইচডিপি অসীম লুকানো মার্কভ মডেলের একটি মূল উপাদান, যা লুকানো মার্কভ মডেলের একটি ননপ্যারামেট্রিক সাধারণীকরণ যা সীমাহীন অবস্থার সংখ্যা এবং ডেটা থেকে শেখার অনুমতি দেয়। সাধারণীকরণ এইচ. ডি. পি-কে বিভিন্ন দিক থেকে সাধারণীকরণ করা যেতে পারে। ডিরিচলেট প্রক্রিয়াগুলি পিটম্যান-ইওর প্রক্রিয়া এবং গামা প্রক্রিয়া দ্বারা প্রতিস্থাপিত হতে পারে, যার ফলে হায়ারার্কিকাল পিটম্যান-ইওর প্রক্রিয়া এবং হায়ারার্কিকাল গামা প্রক্রিয়া হয়। শ্রেণিবিন্যাস আরও গভীর হতে পারে, একটি শ্রেণিবিন্যাসে সাজানো একাধিক স্তরের গোষ্ঠী সহ। পিটম্যান-ইওর প্রক্রিয়াগুলির একটি বহু-স্তরের শ্রেণিবিন্যাস রয়েছে এমন ক্রমগুলির জন্য একটি বায়েসিয়ান ননপ্যারামেট্রিক মডেল, সিকোয়েন্স মেমোইজার-এ এই ধরনের ব্যবস্থা ব্যবহার করা হয়েছে। উপরন্তু, বায়েসিয়ান মাল্টি-ডোমেইন লার্নিং (বিএমডিএল) মডেল সঠিক ক্যান্সার সাবটাইপিংয়ের জন্য শ্রেণিবদ্ধ নেতিবাচক দ্বিপদী ফ্যাক্টরাইজেশনের উপর ভিত্তি করে অতিরিক্ত বিচ্ছুরিত গণনা তথ্যের ডোমেন-নির্ভর সুপ্ত উপস্থাপনা অর্জন করে, এমনকি একটি নির্দিষ্ট ক্যান্সারের ধরণের নমুনার সংখ্যা কম হলেও। আরও দেখুন চীনা রেস্তোরাঁ প্রক্রিয়া রেফারেন্স স্টোকাস্টিক প্রক্রিয়া ননপ্যারামেট্রিক বায়েসিয়ান পরিসংখ্যান