Semantic compression
প্রাকৃতিক ভাষা প্রক্রিয়াকরণে, শব্দার্থিক সংকোচন হল পাঠ্য শব্দার্থবিদ্যা বজায় রেখে ভাষার বৈচিত্র্য হ্রাস করে একটি পাঠ্য নথি (বা নথির একটি সেট) তৈরি করতে ব্যবহৃত একটি অভিধান সংক্ষিপ্ত করার একটি প্রক্রিয়া। ফলস্বরূপ, একই ধারণাগুলি শব্দের একটি ছোট সেট ব্যবহার করে উপস্থাপন করা যেতে পারে। বেশিরভাগ প্রয়োগগুলিতে, শব্দার্থিক সংকোচন একটি লসি সংকোচন, অর্থাৎ, বর্ধিত প্রোলিক্সিটি আভিধানিক সংকোচনের জন্য ক্ষতিপূরণ দেয় না এবং একটি মূল নথি বিপরীত প্রক্রিয়ায় পুনর্গঠন করা যায় না। সাধারণীকরণের মাধ্যমে শব্দার্থিক সংকোচন মূলত দুটি ধাপে অর্জন করা হয়, ফ্রিকোয়েন্সি অভিধান এবং শব্দার্থিক নেটওয়ার্ক ব্যবহার করেঃ লক্ষ্য অভিধান সনাক্ত করার জন্য সঞ্চিত শব্দ ফ্রিকোয়েন্সি নির্ধারণ করা, লক্ষ্য অভিধান থেকে তাদের হাইপারনিমস (সাধারণীকরণ) দিয়ে কম ঘন পদ প্রতিস্থাপন করা। প্রথম ধাপের জন্য শব্দের ফ্রিকোয়েন্সি এবং শব্দার্থিক সম্পর্ক সম্পর্কিত তথ্য একত্রিত করা প্রয়োজন, বিশেষ করে হাইপোনিমি। শব্দের শ্রেণিবিন্যাসে উপরের দিকে অগ্রসর হয়ে, একটি ক্রমবর্ধমান ধারণার ফ্রিকোয়েন্সি তাদের হাইপারনিমের ফ্রিকোয়েন্সিতে হাইপোনিমসের ফ্রিকোয়েন্সি যোগ করে গণনা করা হয়ঃ যেখানে একটি হাইপারনিমস। তারপর, একটি লক্ষ্যযুক্ত অভিধান তৈরি করার জন্য শীর্ষস্থ কিউমুলেটেড ফ্রিকোয়েন্সি সহ কাঙ্ক্ষিত সংখ্যক শব্দ বেছে নেওয়া হয়। দ্বিতীয় ধাপে, কম্প্রেশন ম্যাপিং নিয়মগুলি অবশিষ্ট শব্দের জন্য সংজ্ঞায়িত করা হয়, যাতে আউটপুট পাঠ্যে হাইপারনিম হিসাবে কম ঘন ঘন হাইপোনিমের প্রতিটি ঘটনা পরিচালনা করা যায়। উদাহরণ পাঠ্যের নীচের অংশটি শব্দার্থিক সংকোচন দ্বারা প্রক্রিয়া করা হয়েছে। গাঢ় রঙের শব্দগুলি তাদের হাইপারনিমস দ্বারা প্রতিস্থাপিত হয়েছে। তারা উভয়ই সামাজিক পোকামাকড়ের বাসা তৈরি করে, তবে কাগজের বাম্প এবং মধু মৌমাছি তাদের উপনিবেশগুলিকে খুব ভিন্ন উপায়ে সংগঠিত করে। একটি নতুন গবেষণায়, গবেষকরা জানিয়েছেন যে তাদের পার্থক্য থাকা সত্ত্বেও, এই পোকামাকড়গুলি তাদের সামাজিক behavior.The অধ্যয়নের জন্য জিনের একই নেটওয়ার্কের উপর নির্ভর করে যা রয়্যাল সোসাইটি বিঃ বায়োলজিকাল সায়েন্সেসের কার্যধারায় প্রদর্শিত হয়। মধু মৌমাছি এবং কাগজের বাম্পগুলি 10 কোটিরও বেশি বছরের বিবর্তনের দ্বারা পৃথক করা হয় এবং তারা কীভাবে একটি উপনিবেশ বজায় রাখার কাজকে বিভক্ত করে তার মধ্যে উল্লেখযোগ্য পার্থক্য রয়েছে। পদ্ধতিটি নিম্নলিখিত পাঠ্যটি আউটপুট করেঃ তারা উভয়ই সুবিধা নির্মাণকারী পোকামাকড়, তবে পোকামাকড় এবং মধু পোকামাকড় তাদের জৈবিক গোষ্ঠীগুলিকে খুব ভিন্ন কাঠামোতে সাজায়। একটি নতুন গবেষণায়, গবেষকরা জানিয়েছেন যে তাদের মতামতের পার্থক্য থাকা সত্ত্বেও, এই পোকামাকড়গুলি তাদের দলের আচরণকে চালিত করার জন্য জিনের একই নেটওয়ার্কের কাজ করে। গবেষণাটি প্রতিষ্ঠানের ব্যাকটেরিয়া বায়োলজিকাল সায়েন্সেসের অগ্রগতিতে প্রদর্শিত হয়। মধু পোকামাকড় এবং পোকামাকড় কয়েক কোটি বছরেরও বেশি সময় ধরে জৈব প্রক্রিয়া দ্বারা পৃথক করা হয় এবং তারা কীভাবে একটি জৈবিক গোষ্ঠীকে নিশ্চিত করার কাজকে বিভক্ত করে তা নিয়ে মতামতের পার্থক্য রয়েছে। অন্তর্নিহিত শব্দার্থিক সংকোচন প্রাকৃতিক ভাষার অভিব্যক্তিগুলিকে সংক্ষিপ্ত রাখার একটি স্বাভাবিক প্রবণতা অন্তর্নিহিত শব্দার্থিক সংকোচনের একটি রূপ হিসাবে অনুভূত হতে পারে, অর্থহীন শব্দ বা অপ্রয়োজনীয় অর্থবহ শব্দগুলি বাদ দিয়ে (বিশেষত প্লিওনাজম এড়ানোর জন্য)। প্রয়োগ এবং সুবিধা ভেক্টর স্পেস মডেলে, একটি অভিধান সংক্ষিপ্ত করার ফলে মাত্রা হ্রাস পায়, যার ফলে কম গণনামূলক জটিলতা এবং দক্ষতার উপর ইতিবাচক প্রভাব পড়ে। শব্দার্থগত সংকোচন তথ্য পুনরুদ্ধারের কাজগুলিতে সুবিধাজনক, তাদের কার্যকারিতা উন্নত করে (নির্ভুলতা এবং স্মরণ উভয়ের ক্ষেত্রেই)। এর কারণ হল আরও সুনির্দিষ্ট বর্ণনাকারী (ভাষার বৈচিত্র্যের হ্রাস প্রভাব-সীমিত ভাষার অপ্রয়োজনীয়তা, একটি নিয়ন্ত্রিত অভিধানের দিকে একটি পদক্ষেপ)। উপরের উদাহরণের মতো, আউটপুটটিকে প্রাকৃতিক পাঠ্য হিসাবে প্রদর্শন করা সম্ভব (পুনরায় প্রয়োগ করা, স্টপ শব্দ যোগ করা)। আরও দেখুন নিয়ন্ত্রিত প্রাকৃতিক ভাষা তথ্য তত্ত্ব লেক্সিকাল প্রতিস্থাপন তথ্যের পরিমাণ পাঠ্য সরলীকরণ রেফারেন্স বহিরাগত লিঙ্ক প্রকল্প সেনেকা (শব্দার্থিক নেটওয়ার্ক এবং শ্রেণীবিভাগ) ওয়েবসাইটে শব্দার্থিক সংকোচন তথ্য পুনরুদ্ধার কৌশল প্রাকৃতিক ভাষা প্রক্রিয়াকরণ পরিমাণগত ভাষাবিজ্ঞান গণনামূলক ভাষাবিজ্ঞান