Web archiving
ওয়েব আর্কাইভিং হল ওয়ার্ল্ড ওয়াইড ওয়েবের কিছু অংশ সংগ্রহের প্রক্রিয়া যাতে ভবিষ্যতের গবেষক, ইতিহাসবিদ এবং জনসাধারণের জন্য তথ্য সংরক্ষণাগারে সংরক্ষণ করা হয়। ওয়েব আর্কাইভিস্টরা সাধারণত ওয়েবে বিশাল আকার এবং পরিমাণের তথ্যের কারণে স্বয়ংক্রিয় ক্যাপচারের জন্য ওয়েব ক্রলার নিয়োগ করেন। বাল্ক ক্রলিং পদ্ধতির উপর ভিত্তি করে বৃহত্তম ওয়েব সংরক্ষণাগার সংস্থা হল ওয়েব্যাক মেশিন, যা সমগ্র ওয়েবের একটি সংরক্ষণাগার বজায় রাখার চেষ্টা করে। ওয়েবে তৈরি এবং রেকর্ড করা মানব সংস্কৃতির ক্রমবর্ধমান অংশটি অনিবার্য করে তোলে যে আরও বেশি সংখ্যক গ্রন্থাগার এবং সংরক্ষণাগারকে ওয়েব সংরক্ষণাগারের চ্যালেঞ্জের মুখোমুখি হতে হবে। জাতীয় গ্রন্থাগার, জাতীয় সংরক্ষণাগার এবং বিভিন্ন সংস্থার দলও সাংস্কৃতিকভাবে গুরুত্বপূর্ণ ওয়েব বিষয়বস্তু সংরক্ষণের সাথে জড়িত। বাণিজ্যিক ওয়েব আর্কাইভিং সফ্টওয়্যার এবং পরিষেবাগুলি এমন সংস্থাগুলির জন্যও উপলব্ধ যাদের কর্পোরেট ঐতিহ্য, নিয়ন্ত্রক বা আইনি উদ্দেশ্যে তাদের নিজস্ব ওয়েব বিষয়বস্তু সংরক্ষণ করতে হবে। ইতিহাস এবং উন্নয়ন 1990-এর দশকের মাঝামাঝি থেকে শেষের দিক পর্যন্ত ওয়েবের কিউরেশন এবং সংগঠন প্রচলিত থাকলেও, প্রথম বড় আকারের ওয়েব সংরক্ষণাগার প্রকল্পগুলির মধ্যে একটি ছিল ইন্টারনেট আর্কাইভ, যা 1996 সালে ব্রুস্টার কাহলে দ্বারা নির্মিত একটি অলাভজনক সংস্থা। ইন্টারনেট আর্কাইভ 2001 সালে আর্কাইভ করা ওয়েব বিষয়বস্তু দেখার জন্য নিজস্ব সার্চ ইঞ্জিন, ওয়েব্যাক মেশিন প্রকাশ করে। 2018 সালের হিসাবে, ইন্টারনেট আর্কাইভে 40 পেটাবাইট তথ্য ছিল। ইন্টারনেট আর্কাইভ তার তথ্য সংগ্রহ ও সংরক্ষণের জন্য নিজস্ব অনেক সরঞ্জামও তৈরি করেছে, যার মধ্যে রয়েছে দক্ষতার সাথে এবং নিরাপদে প্রচুর পরিমাণে তথ্য সংরক্ষণের জন্য পেটাবক্স এবং নর্ডিক জাতীয় গ্রন্থাগারগুলির সাথে একত্রে বিকশিত একটি ওয়েব ক্রলার হেরিট্রিক্স। একই সময়ে চালু হওয়া অন্যান্য প্রকল্পগুলির মধ্যে রয়েছে কানাডার জাতীয় গ্রন্থাগার, অস্ট্রেলিয়ার প্যান্ডোরা, তাসমানিয়ান ওয়েব আর্কাইভ এবং সুইডেনের কাল্টুরারউ 3-এর একটি ওয়েব আর্কাইভ প্রকল্প। 2001 সাল থেকে ইন্টারন্যাশনাল ওয়েব আর্কাইভিং ওয়ার্কশপ (আইডাব্লুএডাব্লু) অভিজ্ঞতা ভাগ করে নেওয়ার এবং ধারণা বিনিময়ের জন্য একটি প্ল্যাটফর্ম সরবরাহ করে। 2003 সালে প্রতিষ্ঠিত ইন্টারন্যাশনাল ইন্টারনেট প্রিজারভেশন কনসোর্টিয়াম (আই. আই. পি. সি) ওয়েব আর্কাইভ তৈরির জন্য মান এবং ওপেন সোর্স সরঞ্জাম তৈরিতে আন্তর্জাতিক সহযোগিতাকে সহজতর করেছে। বর্তমানে নিষ্ক্রিয় ইন্টারনেট মেমোরি ফাউন্ডেশন 2004 সালে প্রতিষ্ঠিত হয়েছিল এবং ইউরোপে ওয়েব সংরক্ষণের জন্য ইউরোপীয় কমিশন দ্বারা প্রতিষ্ঠিত হয়েছিল। এই প্রকল্পটি "সমৃদ্ধ মিডিয়া ক্যাপচারিং, সাময়িক সঙ্গতি বিশ্লেষণ, স্প্যাম মূল্যায়ন এবং পরিভাষা বিবর্তন সনাক্তকরণ" এর মতো অনেক মুক্ত উৎস সরঞ্জাম তৈরি এবং প্রকাশ করেছে। ফাউন্ডেশনের তথ্য এখন ইন্টারনেট আর্কাইভ দ্বারা সংরক্ষিত, কিন্তু বর্তমানে সর্বজনীনভাবে অ্যাক্সেসযোগ্য নয়। এর সংরক্ষণের জন্য কোনও কেন্দ্রীভূত দায়িত্ব না থাকা সত্ত্বেও, ওয়েব বিষয়বস্তু দ্রুত সরকারী রেকর্ড হয়ে উঠছে। উদাহরণস্বরূপ, 2017 সালে, মার্কিন যুক্তরাষ্ট্রের বিচার বিভাগ নিশ্চিত করেছে যে সরকার রাষ্ট্রপতির টুইটগুলিকে সরকারী বিবৃতি হিসাবে বিবেচনা করে। ওয়েব আর্কাইভ সংগ্রহকারীরা সাধারণত এইচটিএমএল ওয়েব পেজ, স্টাইল শিট, জাভাস্ক্রিপ্ট, ছবি এবং ভিডিও সহ বিভিন্ন ধরনের ওয়েব বিষয়বস্তু সংরক্ষণ করে। তারা অ্যাক্সেসের সময়, এম. আই. এম. ই প্রকার এবং বিষয়বস্তুর দৈর্ঘ্যের মতো সংগৃহীত সম্পদ সম্পর্কে মেটাডেটা সংরক্ষণ করে। এই মেটাডেটা আর্কাইভ করা সংগ্রহের সত্যতা এবং উৎস প্রতিষ্ঠায় কার্যকর। সংগ্রহের পদ্ধতি রিমোট হারভেস্টিং সবচেয়ে সাধারণ ওয়েব আর্কাইভিং কৌশল ওয়েব পৃষ্ঠাগুলি সংগ্রহের প্রক্রিয়াটি স্বয়ংক্রিয় করতে ওয়েব ক্রলার ব্যবহার করে। ওয়েব ক্রলাররা সাধারণত ওয়েব পৃষ্ঠাগুলি ব্রাউজারের ব্যবহারকারীদের মতো একইভাবে অ্যাক্সেস করে এবং তাই রিমোট হারভেস্টিং ওয়েব সামগ্রীর তুলনামূলকভাবে সহজ পদ্ধতি সরবরাহ করে। ওয়েব সংরক্ষণাগারের জন্য ব্যবহৃত ওয়েব ক্রলারগুলির উদাহরণগুলির মধ্যে রয়েছেঃ হেরিট্রিক্স এইচটিট্র্যাক উইজেট বিভিন্ন বিনামূল্যে পরিষেবা রয়েছে যা ওয়েব ক্রলিং কৌশল ব্যবহার করে "অন-ডিমান্ড" ওয়েব সংস্থানগুলি সংরক্ষণ করতে ব্যবহার করা যেতে পারে। এই পরিষেবাগুলির মধ্যে রয়েছে ওয়েব্যাক মেশিন এবং ওয়েবসাইট। ডাটাবেস আর্কাইভিং বলতে ডাটাবেস-চালিত ওয়েবসাইটগুলির অন্তর্নিহিত বিষয়বস্তু সংরক্ষণের পদ্ধতিগুলিকে বোঝায়। এর জন্য সাধারণত এক্স. এম. এল ব্যবহার করে একটি আদর্শ পরিকল্পনায় ডাটাবেসের বিষয়বস্তু নিষ্কাশনের প্রয়োজন হয়। একবার সেই স্ট্যান্ডার্ড ফর্ম্যাটে সংরক্ষণ করা হলে, একাধিক ডেটাবেসের আর্কাইভ করা বিষয়বস্তু তখন একটি একক অ্যাক্সেস সিস্টেম ব্যবহার করে উপলব্ধ করা যেতে পারে। এই পদ্ধতির উদাহরণ যথাক্রমে বিবলিওথেক ন্যাশনাল ডি ফ্রান্স এবং অস্ট্রেলিয়ার জাতীয় গ্রন্থাগার দ্বারা বিকশিত ডিপআর্ক এবং জিনক সরঞ্জাম দ্বারা দেওয়া হয়েছে। ডিপআর্ক একটি রিলেশনাল ডাটাবেসের কাঠামোকে একটি এক্স. এম. এল স্কিমা-তে ম্যাপ করতে এবং বিষয়বস্তু একটি এক্স. এম. এল নথিতে রপ্তানি করতে সক্ষম করে। জিনক তখন সেই বিষয়বস্তু অনলাইনে সরবরাহ করার অনুমতি দেয়। যদিও ওয়েবসাইটের মূল বিন্যাস এবং আচরণ সঠিকভাবে সংরক্ষণ করা যায় না, Xinq মৌলিক অনুসন্ধান এবং পুনরুদ্ধারের কার্যকারিতা প্রতিলিপি করার অনুমতি দেয়। লেনদেনমূলক সংরক্ষণাগার লেনদেনমূলক সংরক্ষণাগার একটি ইভেন্ট-চালিত পদ্ধতি, যা একটি ওয়েব সার্ভার এবং একটি ওয়েব ব্রাউজারের মধ্যে প্রকৃত লেনদেন সংগ্রহ করে। এটি প্রাথমিকভাবে একটি নির্দিষ্ট তারিখে একটি নির্দিষ্ট ওয়েবসাইটে প্রকৃতপক্ষে দেখা বিষয়বস্তুর প্রমাণ সংরক্ষণের উপায় হিসাবে ব্যবহৃত হয়। যে সংস্থাগুলিকে তথ্য প্রকাশ এবং ধরে রাখার জন্য আইনি বা নিয়ন্ত্রক প্রয়োজনীয়তা মেনে চলতে হয় তাদের জন্য এটি বিশেষভাবে গুরুত্বপূর্ণ হতে পারে। একটি লেনদেনের আর্কাইভিং সিস্টেম সাধারণত ওয়েব সার্ভারের কাছে প্রতিটি এইচটিটিপি অনুরোধকে বাধা দিয়ে এবং প্রতিক্রিয়া দিয়ে, ডুপ্লিকেট বিষয়বস্তু মুছে ফেলার জন্য প্রতিটি প্রতিক্রিয়া ফিল্টার করে এবং বিটস্ট্রিম হিসাবে প্রতিক্রিয়াগুলি স্থায়ীভাবে সংরক্ষণ করে কাজ করে। সমস্যা এবং সীমাবদ্ধতা ক্রলারের ওয়েব আর্কাইভগুলি যা ওয়েব সংগ্রহের প্রাথমিক মাধ্যম হিসাবে ওয়েব ক্রলিংয়ের উপর নির্ভর করে তা ওয়েব ক্রলিংয়ের অসুবিধাগুলির দ্বারা প্রভাবিত হয়ঃ রোবট বর্জন প্রোটোকল ক্রলারদের কোনও ওয়েবসাইটের অংশ অ্যাক্সেস না করার অনুরোধ করতে পারে। কিছু ওয়েব আর্কাইভিস্ট অনুরোধটি উপেক্ষা করতে পারে এবং যেভাবেই হোক সেই অংশগুলি ক্রল করতে পারে। একটি ওয়েবসাইটের বড় অংশ ডিপ ওয়েবে লুকিয়ে থাকতে পারে। উদাহরণস্বরূপ, যদি ক্রলাররা ফলাফল পৃষ্ঠার একটি লিঙ্ক অনুসরণ করতে না পারে তবে একটি ওয়েব ফর্মের পিছনের ফলাফল পৃষ্ঠা ডিপ ওয়েবে থাকতে পারে। ক্রলার ট্র্যাপগুলি (যেমন, ক্যালেন্ডার) একটি ক্রলারকে অসীম সংখ্যক পৃষ্ঠা ডাউনলোড করতে পারে, তাই ক্রলারগুলি সাধারণত তাদের ক্রল করা গতিশীল পৃষ্ঠাগুলির সংখ্যা সীমাবদ্ধ করার জন্য কনফিগার করা হয়। বেশিরভাগ সংরক্ষণাগার সরঞ্জামগুলি পৃষ্ঠাটি যেমন আছে তেমনভাবে ক্যাপচার করে না। দেখা যায়, আর্কাইভ করার সময় বিজ্ঞাপনের ব্যানার ও ছবি প্রায়শই বাদ পড়ে যায়। যাইহোক, এটি লক্ষ করা গুরুত্বপূর্ণ যে একটি নেটিভ ফরম্যাট ওয়েব আর্কাইভ, অর্থাৎ, একটি সম্পূর্ণ ব্রাউজযোগ্য ওয়েব আর্কাইভ, কার্যকরী লিঙ্ক, মিডিয়া ইত্যাদি সহ, শুধুমাত্র ক্রলার প্রযুক্তি ব্যবহার করে সত্যিই সম্ভব। ওয়েব এত বড় যে এর একটি উল্লেখযোগ্য অংশ ক্রল করতে প্রচুর প্রযুক্তিগত সংস্থান লাগে। এছাড়াও, ওয়েব এত দ্রুত পরিবর্তিত হচ্ছে যে কোনও ক্রলার এটিকে ক্রল করা শেষ করার আগেই কোনও ওয়েবসাইটের কিছু অংশে পরিবর্তন হতে পারে। সাধারণ সীমাবদ্ধতা কিছু ওয়েব সার্ভার নিয়মিত ব্রাউজার অনুরোধের প্রতিক্রিয়ায় ওয়েব আর্কাইভার অনুরোধগুলিতে বিভিন্ন পৃষ্ঠাগুলি ফেরত দেওয়ার জন্য কনফিগার করা হয়। এটি সাধারণত একটি ওয়েবসাইটে আরও বেশি ব্যবহারকারী ট্র্যাফিক পরিচালনা করার জন্য সার্চ ইঞ্জিনগুলিকে বোকা বানানোর জন্য করা হয় এবং প্রায়শই জবাবদিহিতা এড়াতে বা কেবল সেই ব্রাউজারগুলিকে উন্নত সামগ্রী সরবরাহ করার জন্য করা হয় যা এটি প্রদর্শন করতে পারে। ওয়েব আর্কাইভিস্টদের কেবল ওয়েব আর্কাইভিংয়ের প্রযুক্তিগত চ্যালেঞ্জগুলিই মোকাবেলা করতে হবে না, তাদের অবশ্যই বৌদ্ধিক সম্পত্তি আইনের সাথেও লড়াই করতে হবে। পিটার লাইম্যান বলেছেন যে "যদিও ওয়েবকে একটি পাবলিক ডোমেইন সম্পদ হিসাবে জনপ্রিয়ভাবে বিবেচনা করা হয়, এটি কপিরাইটযুক্ত; সুতরাং, আর্কাইভিস্টদের ওয়েব অনুলিপি করার কোনও আইনি অধিকার নেই"। তবে কিছু দেশে জাতীয় গ্রন্থাগারগুলির বৈধ আমানতের সম্প্রসারণের অধীনে ওয়েবের অংশগুলি অনুলিপি করার আইনি অধিকার রয়েছে। কিছু বেসরকারী অলাভজনক ওয়েব আর্কাইভ যা সর্বজনীনভাবে অ্যাক্সেসযোগ্য করা হয়েছে যেমন ওয়েবসাইট, ইন্টারনেট আর্কাইভ বা ইন্টারনেট মেমরি ফাউন্ডেশন বিষয়বস্তু মালিকদের সংরক্ষণাগারভুক্ত সামগ্রী লুকানোর বা অপসারণ করার অনুমতি দেয় যা তারা চায় না যে জনসাধারণের অ্যাক্সেস থাকুক। অন্যান্য ওয়েব আর্কাইভগুলি শুধুমাত্র নির্দিষ্ট অবস্থান থেকে অ্যাক্সেসযোগ্য বা নিয়ন্ত্রিত ব্যবহার রয়েছে। ওয়েবসাইট গুগলের ক্যাশিংয়ের বিরুদ্ধে সাম্প্রতিক একটি মামলা উদ্ধৃত করেছে, যা গুগল জিতেছে। 2017 সালে মার্কিন যুক্তরাষ্ট্রের আর্থিক নিয়ন্ত্রক সংস্থা ফিনান্সিয়াল ইন্ডাস্ট্রি রেগুলেটরি অথরিটি, ইনকর্পোরেটেড (এফ. আই. এন. আর. এ) একটি বিজ্ঞপ্তি প্রকাশ করে যে ডিজিটাল যোগাযোগ করা সমস্ত ব্যবসাকে একটি রেকর্ড রাখতে হবে। এর মধ্যে রয়েছে ওয়েবসাইটের তথ্য, সামাজিক যোগাযোগ মাধ্যমের পোস্ট এবং বার্তা। কিছু কপিরাইট আইন ওয়েব আর্কাইভকে বাধা দিতে পারে। উদাহরণস্বরূপ, সাই-হাবের একাডেমিক আর্কাইভিং সমসাময়িক কপিরাইট আইনের সীমার বাইরে। সাইটটি উন্মুক্ত প্রবেশাধিকার ছাড়াই একাডেমিক কাজগুলিতে স্থায়ী প্রবেশাধিকার প্রদান করে এবং এর ফলে বৈজ্ঞানিক গবেষণার সংরক্ষণাগারে অবদান রাখে যা অন্যথায় হারিয়ে যেতে পারে। আরও দেখুন আন্না 'স আর্কাইভ আর্কাইভ সাইট আর্কাইভ টিম archive.today (পূর্বে archive.is) কালেক্টিভ মেমোরি কমন ক্রল ডিজিটাল হোর্ডিং ডিজিটাল লাইব্রেরি গুগল ক্যাশে ওয়েব আর্কাইভিং উদ্যোগের তালিকা উইকিপিডিয়াঃ উইকিপিডিয়া মেমেন্টো প্রজেক্ট মিনার্ভা ইনিশিয়েটিভ মিরর ওয়েবসাইট ন্যাশনাল ডিজিটাল ইনফরমেশন ইনফ্রাস্ট্রাকচার অ্যান্ড প্রিজারভেশন প্রোগ্রাম (এনডিআইআইপিপি) ন্যাশনাল ডিজিটাল লাইব্রেরি প্রোগ্রাম (এনডিএলপি) প্যাডিকেট পেজফ্রিজার প্যান্ডোরা আর্কাইভ ইউকে ওয়েব আর্কাইভ ভার্চ্যুয়াল আর্টিফ্যাক্ট ওয়েব্যাক মেশিন ওয়েব ক্রলিং ওয়েবসাইট রেফারেন্স সাধারণ গ্রন্থপঞ্জি বাহ্যিক লিঙ্ক ইন্টারন্যাশনাল ইন্টারনেট প্রিজারভেশন কনসোর্টিয়াম (আইআইপিসি)-আন্তর্জাতিক কনসোর্টিয়াম যার লক্ষ্য হল ইন্টারনেট থেকে জ্ঞান এবং তথ্য অর্জন, সংরক্ষণ এবং অ্যাক্সেসযোগ্য করা।