METEOR
মিটার (মেট্রিক ফর ইভ্যালুয়েশন অফ ট্রান্সলেশন উইথ এক্সপ্লিসিট অর্ডারিং) হল মেশিন ট্রান্সলেশন আউটপুট মূল্যায়নের জন্য একটি মেট্রিক। মেট্রিকটি ইউনিগ্রাম নির্ভুলতা এবং স্মরণের সুরেলা গড়ের উপর ভিত্তি করে, যার স্মরণ নির্ভুলতার চেয়ে বেশি ওজনযুক্ত। এটির বেশ কয়েকটি বৈশিষ্ট্য রয়েছে যা অন্যান্য মেট্রিকগুলিতে পাওয়া যায় না, যেমন স্টেমিং এবং প্রতিশব্দ মিলনের পাশাপাশি স্ট্যান্ডার্ড সঠিক শব্দ মিলনের সাথে। মেট্রিকটি আরও জনপ্রিয় বি. এল. ই. ইউ মেট্রিক-এ পাওয়া কিছু সমস্যা সমাধানের জন্য ডিজাইন করা হয়েছিল এবং বাক্য বা বিভাগ স্তরে মানুষের বিচারের সাথে ভাল সম্পর্ক তৈরি করে। এটি বি. এল. ই. ইউ মেট্রিকের থেকে আলাদা যে বি. এল. ই. ইউ কর্পাস স্তরে পারস্পরিক সম্পর্ক চায়। ফলাফলগুলি উপস্থাপন করা হয়েছে যা একই ডেটা সেটে বি. এল. ই. ইউ-এর 0.817 অর্জনের তুলনায় কর্পাস স্তরে মানুষের বিচারের সাথে 0.964 পর্যন্ত সম্পর্ক দেয়। বাক্য স্তরে, মানুষের বিচারের সাথে সর্বাধিক সম্পর্ক ছিল 0.403। অ্যালগরিদম বি. এল. ই. ইউ-এর মতো, মূল্যায়নের মৌলিক একক হল বাক্য, অ্যালগরিদম প্রথমে দুটি বাক্য, প্রার্থী অনুবাদ স্ট্রিং এবং রেফারেন্স অনুবাদ স্ট্রিংয়ের মধ্যে একটি সারিবদ্ধকরণ (চিত্র দেখুন) তৈরি করে। সারিবদ্ধকরণ হল ইউনিগ্রামের মধ্যে ম্যাপিংয়ের একটি সেট। একটি ম্যাপিংকে একটি স্ট্রিং-এ ইউনিগ্রাম এবং অন্য স্ট্রিং-এ ইউনিগ্রামের মধ্যে একটি রেখা হিসাবে ভাবা যেতে পারে। সীমাবদ্ধতাগুলি নিম্নরূপ; প্রার্থী অনুবাদের প্রতিটি ইউনিগ্রামকে অবশ্যই রেফারেন্সের শূন্য বা একটি ইউনিগ্রামে ম্যাপ করতে হবে। উপরে বর্ণিত একটি সারিবদ্ধকরণ তৈরি করার জন্য ম্যাপিং নির্বাচন করা হয়। যদি একই সংখ্যক ম্যাপিং সহ দুটি সারিবদ্ধকরণ থাকে, তবে সারিবদ্ধকরণটি সবচেয়ে কম ক্রস দিয়ে বেছে নেওয়া হয়, অর্থাৎ দুটি ম্যাপিংয়ের কম ছেদ সহ। দেখানো দুটি সারিবদ্ধকরণ থেকে, এই সময়ে সারিবদ্ধকরণ (ক) নির্বাচন করা হবে। পর্যায়গুলি ধারাবাহিকভাবে চালানো হয় এবং প্রতিটি পর্যায় কেবল সেই ইউনিগ্রামগুলিকে সারিবদ্ধ করে যা পূর্ববর্তী পর্যায়ে মেলেনি। একবার চূড়ান্ত সারিবদ্ধকরণ গণনা করা হলে, স্কোরটি নিম্নরূপ গণনা করা হয়ঃ ইউনিগ্রাম নির্ভুলতা গণনা করা হয়ঃ প্রার্থী অনুবাদে ইউনিগ্রামের সংখ্যা কোথায় যা রেফারেন্স অনুবাদেও পাওয়া যায়, এবং প্রার্থী অনুবাদে ইউনিগ্রামের সংখ্যা। ইউনিগ্রাম রিকল গণনা করা হয়ঃ যেখানে উপরে হিসাবে, এবং রেফারেন্স অনুবাদে ইউনিগ্রামের সংখ্যা। নির্ভুলতা এবং স্মরণ নিম্নলিখিত পদ্ধতিতে সুরেলা গড় ব্যবহার করে একত্রিত করা হয়, যার সাথে প্রত্যাহারের ওজন নির্ভুলতার চেয়ে 9 গুণ বেশিঃ এখনও পর্যন্ত যে পরিমাপগুলি চালু করা হয়েছে তা কেবল একক শব্দের ক্ষেত্রে সামঞ্জস্যের জন্য দায়ী তবে রেফারেন্স এবং প্রার্থী বাক্য উভয় ক্ষেত্রেই প্রদর্শিত বৃহত্তর অংশগুলির ক্ষেত্রে নয়। এগুলি বিবেচনায় নেওয়ার জন্য, লম্বা এন-গ্রাম ম্যাচগুলি প্রান্তিককরণের জন্য পেনাল্টি গণনা করতে ব্যবহৃত হয়। রেফারেন্স এবং প্রার্থী বাক্যের পাশে যত বেশি ম্যাপিং থাকবে, জরিমানা তত বেশি হবে। এই পেনাল্টি গণনা করার জন্য, ইউনিগ্রামগুলিকে সম্ভাব্য সবচেয়ে কম অংশে শ্রেণীবদ্ধ করা হয়, যেখানে একটি খণ্ডকে অনুমান এবং রেফারেন্সের সংলগ্ন ইউনিগ্রামগুলির একটি সেট হিসাবে সংজ্ঞায়িত করা হয়। প্রার্থী এবং রেফারেন্সের মধ্যে সংলগ্ন ম্যাপিং যত দীর্ঘ হবে, তত কম অংশ থাকবে। রেফারেন্সের অনুরূপ একটি অনুবাদ শুধুমাত্র একটি অংশ দেবে। পেনাল্টি নিম্নরূপ গণনা করা হয়, যেখানে সি হল অংশের সংখ্যা, এবং ইউনিগ্রামের সংখ্যা যা ম্যাপ করা হয়েছে। একটি বিভাগের চূড়ান্ত স্কোর নিম্নরূপ গণনা করা হয়। যদি কোনও বিগ্রাম বা দীর্ঘ ম্যাচ না হয় তবে পেনাল্টি 50 শতাংশ পর্যন্ত হ্রাস করার প্রভাব ফেলে। একটি সম্পূর্ণ কর্পাস বা বিভাগগুলির সংগ্রহের উপর একটি স্কোর গণনা করার জন্য, এবং এর জন্য সমষ্টিগত মানগুলি নেওয়া হয় এবং তারপর একই সূত্র ব্যবহার করে একত্রিত করা হয়। অ্যালগরিদমটি একাধিক রেফারেন্স অনুবাদের সাথে একটি প্রার্থী অনুবাদের তুলনা করার জন্যও কাজ করে। এই ক্ষেত্রে অ্যালগরিদম প্রতিটি রেফারেন্সের সাথে প্রার্থীকে তুলনা করে এবং সর্বোচ্চ স্কোর নির্বাচন করে। আরও উদাহরণ দেখুন ব্লিউ এফ-মেজার এনআইএসটি (মেট্রিক) রাউজ (মেট্রিক) শব্দ ত্রুটি হার (ডব্লিউইআর) লেপোর বিশেষ্য-বাক্যাংশ চাঙ্কিং নোটস ব্যানার্জি, এস এবং লাভি, এ। (2005) তথ্যসূত্র ব্যানার্জি, এস. এবং লাভি, এ। (2005) অ্যাসোসিয়েশন অফ কম্পিউট্যাশনাল লিঙ্গুইস্টিকস (এসিএল-2005), অ্যান আরবোর, মিশিগান, জুন 2005, ল্যাভি, এ., সাগে, কে. এবং জয়রামন, এস. (2004)-এর 43তম বার্ষিক সভায় এমটি এবং/অথবা সংক্ষিপ্তকরণের জন্য অভ্যন্তরীণ এবং বাহ্যিক মূল্যায়ন পরিমাপের উপর কর্মশালার কার্যধারায় "মানব বিচারের সাথে উন্নত সম্পর্কের সাথে এমটি মূল্যায়নের জন্য একটি স্বয়ংক্রিয় মেট্রিক"। সেপ্টেম্বর 2004 বাহ্যিক লিঙ্কগুলি মিটার স্বয়ংক্রিয় মেশিন অনুবাদ মূল্যায়ন ব্যবস্থা (ডাউনলোডের লিঙ্ক সহ) প্রাকৃতিক ভাষা প্রক্রিয়াকরণ মেশিন অনুবাদের মূল্যায়ন