Noisy text analytics
কোলাহলপূর্ণ পাঠ্য বিশ্লেষণ হল তথ্য উত্তোলনের একটি প্রক্রিয়া যার লক্ষ্য হল কোলাহলপূর্ণ কাঠামোবদ্ধ পাঠ্য তথ্য থেকে স্বয়ংক্রিয়ভাবে কাঠামোবদ্ধ বা অর্ধ-কাঠামোবদ্ধ তথ্য বের করা। যদিও টেক্সট অ্যানালিটিক্স একটি ক্রমবর্ধমান এবং পরিপক্ক ক্ষেত্র যার প্রচুর পরিমাণে ডেটা তৈরি হওয়ার কারণে দুর্দান্ত মূল্য রয়েছে, কোলাহলপূর্ণ পাঠ্য প্রক্রিয়াকরণ গুরুত্ব অর্জন করছে কারণ অনেক সাধারণ অ্যাপ্লিকেশন কোলাহলপূর্ণ পাঠ্য ডেটা তৈরি করে। অনলাইন চ্যাট, পাঠ্য বার্তা, ই-মেইল, বার্তা বোর্ড, নিউজগ্রুপ, ব্লগ, উইকি এবং ওয়েব পৃষ্ঠাগুলির মতো অনানুষ্ঠানিক সেটিংসে কোলাহলপূর্ণ কাঠামোবদ্ধ পাঠ্য তথ্য পাওয়া যায়। এছাড়াও, স্বয়ংক্রিয় বক্তৃতা শনাক্তকরণ ব্যবহার করে স্বতঃস্ফূর্ত বক্তৃতা প্রক্রিয়াকরণ দ্বারা উত্পাদিত পাঠ্য এবং অপটিক্যাল চরিত্র শনাক্তকরণ ব্যবহার করে মুদ্রিত বা হাতে লেখা পাঠ্য প্রক্রিয়াকরণ শব্দ ধারণ করে। এই ধরনের পরিস্থিতিতে উৎপাদিত পাঠ্য সাধারণত অত্যন্ত কোলাহলপূর্ণ হয় যার মধ্যে বানান ত্রুটি, সংক্ষিপ্ত রূপ, অ-মানক শব্দ, মিথ্যা শুরু, পুনরাবৃত্তি, বিরামচিহ্ন অনুপস্থিত, অক্ষরের কেসের তথ্য অনুপস্থিত, "উম" এবং "উহ" এর মতো শব্দ পূরণ করা বিরতি এবং অন্যান্য টেক্সটিং এবং বক্তৃতা অস্পষ্টতা থাকে। যোগাযোগ কেন্দ্র, চ্যাট রুম, পাঠ্য নথির অপটিক্যাল ক্যারেক্টর রিকগনিশন (ও. সি. আর), সংক্ষিপ্ত বার্তা পরিষেবা (এস. এম. এস) পাঠ্য ইত্যাদিতে এই ধরনের পাঠ্য প্রচুর পরিমাণে দেখা যায়। ঐতিহাসিক ভাষার নথিগুলিকে ভাষা সম্পর্কে আজকের জ্ঞানের ক্ষেত্রেও কোলাহলপূর্ণ বলে বিবেচনা করা যেতে পারে। এই ধরনের গ্রন্থে গুরুত্বপূর্ণ ঐতিহাসিক, ধর্মীয়, প্রাচীন চিকিৎসা সংক্রান্ত জ্ঞান রয়েছে যা দরকারী। এই সমস্ত প্রসঙ্গে উত্পাদিত কোলাহলপূর্ণ পাঠ্যের প্রকৃতি ঐতিহ্যবাহী পাঠ্য বিশ্লেষণ কৌশলগুলির বাইরে চলে যাওয়ার নিশ্চয়তা দেয়। গোলমাল পাঠ্য বিশ্লেষণের কৌশল বিরামচিহ্ন অনুপস্থিত এবং অ-মানক শব্দের ব্যবহার প্রায়শই স্ট্যান্ডার্ড প্রাকৃতিক ভাষা প্রক্রিয়াকরণ সরঞ্জাম যেমন পার্ট-অফ-স্পিচ ট্যাগিং এবং পার্সিংয়ে বাধা সৃষ্টি করতে পারে। কোলাহলপূর্ণ তথ্য থেকে শেখার এবং তারপর কোলাহলপূর্ণ তথ্য প্রক্রিয়াকরণ করতে সক্ষম হওয়ার কৌশলগুলি এখন কেবল তৈরি করা হচ্ছে। শোরগোলপূর্ণ পাঠ্যের সম্ভাব্য উৎস ওয়ার্ল্ড ওয়াইড ওয়েবঃ ওয়েব পেজ, অনলাইন চ্যাট, ব্লগ, উইকি, আলোচনা ফোরাম, নিউজগ্রুপে দুর্বল লিখিত পাঠ্য পাওয়া যায়। এই তথ্যগুলির বেশিরভাগই কাঠামোগত নয় এবং লেখার শৈলী, যেমন, সু-লিখিত সংবাদ নিবন্ধগুলির থেকে খুব আলাদা। ওয়েব ডেটার বিশ্লেষণ গুরুত্বপূর্ণ কারণ এগুলি বাজার গুঞ্জন বিশ্লেষণ, বাজার পর্যালোচনা, প্রবণতা অনুমান ইত্যাদির উৎস। এছাড়াও, প্রচুর পরিমাণে তথ্যের কারণে, তথ্য উত্তোলন, শ্রেণিবিন্যাস, স্বয়ংক্রিয় সংক্ষিপ্তকরণ এবং এই তথ্যগুলির বিশ্লেষণের দক্ষ পদ্ধতিগুলি খুঁজে বের করা প্রয়োজন। যোগাযোগ কেন্দ্রঃ এটি কম্পিউটার বিক্রয় এবং সহায়তা থেকে শুরু করে মোবাইল ফোন থেকে শুরু করে পোশাক পর্যন্ত বিভিন্ন ক্ষেত্রে পরিচালিত হেল্প ডেস্ক, তথ্য লাইন এবং গ্রাহক পরিষেবা কেন্দ্রগুলির জন্য একটি সাধারণ শব্দ। গড়ে উন্নত বিশ্বের একজন ব্যক্তি সপ্তাহে অন্তত একবার যোগাযোগ কেন্দ্রের প্রতিনিধির সঙ্গে যোগাযোগ করেন। একজন সাধারণ যোগাযোগ কেন্দ্রের প্রতিনিধি প্রতিদিন শতাধিক কল পরিচালনা করেন। এগুলি ভয়েস, অনলাইন চ্যাট এবং ই-মেইলের মতো বিভিন্ন পদ্ধতিতে কাজ করে। যোগাযোগ কেন্দ্র শিল্প ই-মেইল, চ্যাট লগ, ভয়েস কথোপকথন প্রতিলিপি, গ্রাহক প্রতিক্রিয়া ইত্যাদি আকারে গিগাবাইট ডেটা তৈরি করে। কন্টাক্ট সেন্টারের তথ্যের একটি বড় অংশ হল ভয়েস কথোপকথন। অত্যাধুনিক স্বয়ংক্রিয় বক্তৃতা শনাক্তকরণ ব্যবহার করে এগুলির প্রতিলিপির ফলে 30-40% শব্দ ত্রুটির হার সহ পাঠ্য পাওয়া যায়। উপরন্তু, এমনকি গ্রাহক এবং এজেন্টদের মধ্যে অনলাইন চ্যাট এবং এমনকি ইমেলের মাধ্যমে কথোপকথনের মতো যোগাযোগের লিখিত পদ্ধতিগুলিও কোলাহলপূর্ণ হতে থাকে। গ্রাহক সম্পর্ক ব্যবস্থাপনা, গ্রাহক সন্তুষ্টি বিশ্লেষণ, কল মডেলিং, গ্রাহক প্রোফাইলিং, এজেন্ট প্রোফাইলিং ইত্যাদির জন্য যোগাযোগ কেন্দ্রের তথ্য বিশ্লেষণ অপরিহার্য এবং এর জন্য দুর্বল লিখিত পাঠ্য পরিচালনা করার জন্য পরিশীলিত কৌশল প্রয়োজন। মুদ্রিত নথিঃ অনেক গ্রন্থাগার, সরকারি সংস্থা এবং জাতীয় প্রতিরক্ষা সংস্থার কাছে হার্ড কপি নথির বিশাল ভাণ্ডার রয়েছে। এই ধরনের নথি থেকে বিষয়বস্তু পুনরুদ্ধার এবং প্রক্রিয়া করার জন্য, অপটিক্যাল ক্যারেক্টার রিকগনিশন ব্যবহার করে সেগুলি প্রক্রিয়া করা প্রয়োজন। মুদ্রিত পাঠ্য ছাড়াও, এই নথিগুলিতে হাতে লেখা টীকাও থাকতে পারে। ফন্টের আকার, মুদ্রণের গুণমান ইত্যাদির উপর নির্ভর করে ও. সি. আর. ই. ডি লেখা অত্যন্ত কোলাহলপূর্ণ হতে পারে। এটি 2-3% শব্দ ত্রুটির হার থেকে শুরু করে 50-60% শব্দ ত্রুটির হার পর্যন্ত হতে পারে। হাতে লেখা টীকা বোঝার জন্য বিশেষভাবে কঠিন হতে পারে এবং তাদের উপস্থিতিতে ত্রুটির হার বেশ বেশি হতে পারে। সংক্ষিপ্ত বার্তা পরিষেবা (এস. এম. এস): কম্পিউটারের মধ্যস্থতায় কথোপকথনের মাধ্যমে ভাষার ব্যবহার, যেমন চ্যাট, ইমেল এবং এস. এম. এস পাঠ্য, ভাষার আদর্শ রূপের থেকে উল্লেখযোগ্যভাবে পৃথক। সংক্ষিপ্ত বার্তার দৈর্ঘ্যের প্রতি আগ্রহ দ্রুত টাইপিং সহজতর করে এবং শব্দার্থগত স্বচ্ছতার প্রয়োজনীয়তা, টেক্সটিং ভাষা হিসাবে পরিচিত এই অ-মানক রূপের কাঠামোকে আকার দেয়। আরও দেখুন পাঠ্য বিশ্লেষণ তথ্য নিষ্কাশন গণনামূলক ভাষাবিজ্ঞান প্রাকৃতিক ভাষা প্রক্রিয়াকরণ নামকৃত সত্তা স্বীকৃতি পাঠ্য খনন স্বয়ংক্রিয় সংক্ষিপ্তকরণ পরিসংখ্যানগত শ্রেণিবিন্যাস ডেটা মানের রেফারেন্স "ওয়াং, ডব্লিউ., লিউ, ডব্লিউ. এবং বেনামুন, এম. নোংরা পাঠ্য পরিষ্কার করার জন্য বর্ধিত ইন্টিগ্রেটেড স্কোরিং। আইজেসিএআই ওয়ার্কশপ অন অ্যানালিটিক্স ফর নয়েজি আনস্ট্রাকচার্ড টেক্সট ডেটা (এ্যান্ড), 2007; হায়দ্রাবাদ, ভারত। "এল. ভি. সুব্রামানিয়াম, এস. রায়, টি. এ. ফারুকি, এস. নেগি, শব্দের শব্দের ধরণ এবং শব্দের শব্দ পরিচালনা করার কৌশলগুলির একটি সমীক্ষা। 2009 সালে 'অ্যানালিটিক্স ফর নয়েজি আনস্ট্রাকচার্ড টেক্সট ডেটা "শীর্ষক তৃতীয় কর্মশালা অনুষ্ঠিত হয়। কৃত্রিম বুদ্ধিমত্তার প্রয়োগ প্রাকৃতিক ভাষা প্রক্রিয়াকরণ গণনামূলক ভাষাবিজ্ঞান তথ্য পুনরুদ্ধার ঘরানার পরিসংখ্যানগত প্রাকৃতিক ভাষা প্রক্রিয়াকরণ