ما هو نظام معالجة البيانات؟
نظام معالجة البيانات هو مزيج بين الآلات والبشر ومعالجة ذلك لمجموعة من المدخلات لتنتج مخرجات محددة، وهذه المدخلات والمخرجات تترجم على أنها بيانات أوحقائق أومعلومات اعتمادًا على علاقة المترجم بالنظام، ويطلق عليه مصطلح نظام المعلومات أيضاً..[1][2][3]
في الوقت الحاضر هناك الكثير من تطبيقات الويب الفردية التي يمكن أن تولد كمية كبيرة من البيانات كل ثانية، على سبيل المثال في كل يوم يتم تخزين 500 تيرابايت من البيانات في قواعد بيانات الفيسبوك و أكثر من 360 تيرابايت من البيانات يتم تحميلها على موقع يوتيوب. إنّ نمو البيانات في البيئات السحابية يتزايد بشكل كبير و سريع مع ازدياد عد المستخدمين المتصلين بالانترنت حول العالم.
مع هذا النمو السريع فإن السؤال الذي يتبادر إلى الذهن هو كيف يمكن تخزين هذه الكميات الهائلة من البيانات في البيئات السحابية؟ نحن بحاجة إلى تقنية التخزين التي تلبي احتياجات النمو السريع للبيانات على السحابة، نحن بحاجة إلى تقنية تخزين مع تكلفة منخفضة ، وموثوقية عالية وإمكانية عالية. يمكن تصنيف طرق تخزين البيانات الكبيرة في البيئات السحابية إلى نوعين: أنظمة الملفات الموزعة وقواعد البيانات الموزعة.
تستخدم أنظمة الملفات الموزعة لدعم تخزين كميات كبيرة من الملفات. لحل مشكلة تخزين عدد كبير من صفحات الويب وضعت جوجل نظام تخزين الملفات جوجل( GFS) ولكن مشكلته أنه ليس مفتوح المصدر. ياهو والمجتمعات الأخرى وضعت نظام مفتوح المصدر مبني على GFS أسمته Hadoop Distributed File Systems (HDFS) 
نظام تخزين الملفات الموزعة ( (HDFS يقوم بتخزين كمية كبيرة من الملفات حيث يتم تقسيمها إلى عدة كتل clusters.حيث تتكون كل كتلة من مجموعة من العقد nodes . كتلة Hadoop هي مجموعة من الخوادم و مجموعة HDFS’s تقوم بتوزيع و تخزين البيانات عبر كافة العقد في هذه المجموعة. كتلة HDFS تشمل ثلاث عقد:
1. عقدة الاسم NameNode تعمل كعقدة رئيسية و هي التي تسيطر على تخزين المجموعات. إنها تقسم البيانات إلى مجموعات، كل مجموعة يتم نسخها ثلاث مرات وتخزينها في الكتلة.
2. عقدة البيانات DataNode تعمل على عقد الخوادم و توفر إمكانية السماح بالخطأ. إذا فشلت عقدة الخادم تضمن النسخ القادمة من NameNode التأكد من أن النظام لن يتوقف أو يفشل في هذه الحلة.
3. جهاز العميل Client Machine يمكن أن يكون DataNode أو NameNode، يكون نظام Hadoop مثبتاً عليه. يقوم بتحميل البيانات في الكتلة، يقدم وظائف إلى MapReduce ويظهر نتائج المهمة عندما تكتمل. 
أمّا قواعد البيانات الموزعة NoSQL فإنها تُسخدم لتلبية احتياجات تحليل ومعالجة كميات كبيرة من البيانات غير المهيكلة أو غير المنظمة. وقد حلت قواعد بيانات NoSQL مشاكل التزامن، والتدرجية، والتسامح مع الخطأ التي واجهت قواعد البيانات العلائقية التقليدية. و مثل قاعدة بيانات SQL التقليدية (لغة الاستعلام الهيكلية) يستخدم NoSQL أيضا الاستعلامات ولكنها لا تتقييد باستخدامها وحدها فقد تستخدم لغات أخرى غير SQL.
هناك أربعة أنواع منNoSQL: مخزن مفتاح القيمKey-Value store يحتوي على جدول من المفاتيح والقيم (على سبيل المثال(Riak, Amazon S3),)، و المخزن القئم على الوثائق document based store حيث تتكون الوثائق من عناصر مختارة.
و المخزن القائم على العمودColumn based store الذي كل كتلة فيه تحتوي بيانات من عمود واحد فقط (مثل HBase) والمخزن القئم على الرسم البيانيGraph based store حيث تستخدم قاعدة بيانات الشبكة الحواف والعقد لتمثيل وتخزين البيانات (مثل Neo4J).
لحل مشكلة التعامل مع مجموعة متنوعة من البيانات الكبيرة، وضعت جوجل نظام قاعدة بيانات وزعت على أساس المخزن القائم على العمود يسمى BigTable يعمل على تقديم تحليل للبيانات الكبيرة غير المتناسقة. نموذج البيانات من BigTable يتكون من الصفوف والأعمدة، والطوابع الزمنية. يتم تخزين البيانات في الخلايا. يتكون القرص من العديد من الصفوف ويتم حفظها إلى عقدة الخادم.
ينقسم تحليل البيانات الكبيرة في البيئات السحابية إلى نوعين ريئسيين batch offline و real time في النوع الأولbatch offline تتم معالجة مجموعات كبيرة من البيانات تلقائيا دون أي تبادل أو مراقبة من قبل المستخدم. بعد جمع البيانات، تتم معالجة جميع البيانات في وقت واحد. و من الأمثة عليها: Hadoop و.MapReduce . MapReduce هو نموذج البرمجة التي وضعتها جوجل على أساس GFS لتجهيز عدد كبير من مجموعات البيانات. ويستخدم مجموعة واسعة النطاق لأداء المهام والعمليات الموازية تلقائيا باستخدام برنامج مثل Hadoop. ويمكن تطبيقها على البحث في مواقع الويب وتطبيقات الويب الأخرى. الخوارزمية MapReduce تشمل وظيفتين: وظيفة Mapلتحويل العناصر في نوع من قائمة إلى نوع آخر و وضعها مرة أخرى في نفس النوع من القائمة. ثم يتم تنفيذ التصفية وعمليات الفرز. وظيفةReduce لجمع العناصر الموجودة في القوائم المخرجات من Map وأداء بعض الحسابات على كل منهم للحد منها في قيمة واحدة. Hadoop هو برنامج مفتوح المصدر يعتمد على HDFS. و هو يعمل على معالجة البيانات الموزعة معالجة فعالة وموثوق بها لكميات هائلة من البيانات. وقد وضعت Hadoop أساسا عن طريق Yahoo لحل مشكلة البيانات الكبيرة عن طريق كسر البيانات إلى قطع صغيرة يمكن معالجتها بشكل متواز. يضم Hadoopاثنين من الأنظمة الرئيسية: تخزين HDFS ومحرك MapReduce.
Hadoop MapReduce هو تنفيذ لخوارزمية MapReduce. تم تطويره من قبل مشروع أباتشي و يشمل عدة مراحل، كل مرحلة لها مجموعة من العمليات لإخراج النتيجة المرجوة للمستخدم. تبدأ العملية عند طلب المستخدم لتشغيل برنامج MapReduce وتستمر حتى تتم كتابة النتائج إلى HDFS.