ما هي الحوسبة السحابية؟
الحوسبة السحابية هي مصطلح يشير إلى المصادر والأنظمة الحاسوبية المتوافرة تحت الطلب عبر الشبكة والتي تستطيع توفير عدد من الخدمات الحاسوبية المتكاملة دون التقيد بالموارد المحلية بهدف التيسير على المستخدم, وتشمل تلك الموارد مساحة لتخزين البيانات والنسخ الاحتياطي والمزامنة الذاتية، كما تشمل قدرات معالجة برمجية وجدولة للمهام ودفع البريد الإلكتروني والطباعة عن بعد، ويستطيع المستخدم عند اتصاله بالشبكة التحكم في هذه الموارد عن طريق واجهة برمجية سهلة تُـسَـهل وتتجاهل الكثير من التفاصيل والعمليات الداخلية.
وقد وُضعت العديد من الأنظمة القائمة على Hadoop وMapReduce. على سبيل المثال، أباتشيHive هو برنامج مستودع البيانات على أساس Hadoop. هو يستخدم لإدارة والاستعلام عن مجموعات كبيرة من البيانات في تخزين الموزعة. مثل لغة SQL، خلية لديها لغتها الخاصة بها ودعا HiveQl.
في الوقت الحقيقي real time analysis عندما يتم إدخال البيانات من قبل المستخدم يتم معالجتها فورا ويحتاج المستخدم إلى الانتظار لفترة وجيزة لا تتجاوز ميلي ثانية (مثل نظم الحجز). من الأمثلة على الحوسبة التفاعلية دريميل جوجل و سبارك وإمبالا 
التعامل مع البيانات كبيرة في مجال الحوسبة السحابية لا يزال لديه الكثير من التحديات الرئيسية. واحدة من هذه التحديات هي قدرة تخزين للتعامل مع كميات متزايدة من البيانات بطريقة مناسبة. ميزات الحوسبة السحابية ليست مناسبة لدعم RDBMS. وقد أدى هذا إلى تطوير قواعد بيانات ال NoSQL. التحدي الآخر هو توافر البيانات المخزنة في السحابة. مع تزايد عدد المستخدمين السحابية ومقدمي الخدمات السحابية يجعل من الضروري معالجة مسألة جعل البيانات المطلوبة متوفرة للمستخدمين لتقديم خدمات ذات جودة عالية في الوقت المناسب. عدم التجانس هو أيضا تحدي آخر لللتعامل مع البيانات الكبيرة في الحوسبة السحابية. إنّ هناك مجموعة متنوعة من البيانات الكبيرة نتيجة لنمو مصادر مختلفة غير محدودة من البيانات و هذا النمو يؤدي إلى صفة عدم التجانس للبيانات الكبيرة. البيانات التي تأتي من مصادر متعددة عادة ما تكون من أنواع وأشكال تمثيلية مختلفة مترابطة إلى حد كبير، لديها صيغ غير متوافقة و ممثلة بشكل غير متناسق. ويتمثل التحدي هنا في كيفية التعامل مع مصادر و أنواع بيانات متعددة. الخصوصية أيضاً تشكل تحديا آخر في الحوسبة السحابية للبيانات الكبيرة. التطوير في استخراج البيانات الكبيرة و تحليلاتها تتطلب معلومات شخصية من الأفراد لتحقيق نتائج ذات الصلة، مثل الشخصية، والمكان استنادا إلى الخدمة المطلوبة و في هذه الحالة فإنه من الضروري حماية المعلومات الشخصية للأفراد.
لقد بين هذا البحث العلاقة التكاملية بين تقنيات الحوسبة السحابية و البيانات الكبيرة وكيف يتم التعامل مع البيانات الكبيرة في بيئات الحوسبة السحابية. بالإضافة إلى تقديم مراجعة عامة حول هاتين التقنيتين، حيث اشتمل البحث على عرض مفاهيم كل تقنية و تصنيفاتها و خصائصها. 
الحوسبة السحابية تختلف عن الحوسبة التقليدية في حجمها الكبير و مقياسها الاقتصادي، وأنها يمكن أن توفر للمستخدمين مستويات مختلفة من الخدمات التي يمكن تكوينها بناء على طلبهم. لقد تم تطوير مجموعة من التقنيات المتقدمة للعمل مع الكم الهائل والسرعة العالية ونماذج البيانات غير المتجانسة خلا تحليل البيانات الكبيرة في البيئات السحابية.
حجم البيانات في بيئات الحوسبة السحابية يتزايد بطريقة مستمرة و سريعة. هناك زيادة أيضا في تنوع محتويات البيانات ومصادرها . الحوسبة السحابية لديها مميزاتها الخاصة (مثل المحاكاة الافتراضية، والموثوقية، والمرونة، والحجم الاقتصادي، وما إلى ذلك) التي لايمكن للتكنولوجيات التقليدية وقواعد البيانات التقليدية (DBMSs) التعامل معها بشكل مناسب. لقد طوّرت صناعات تكنولوجيا المعلومات العديد من التقنيات لتخزين البيانات الكبيرة في البيئات السحابية مثل نظام الملفات الموزعة و قواعد البيانات الموزعة. وقد تم تطوير نموذج البرمجة الMapReduce وبرنامج Hadoop لتحليل البيانات الكبيرة في البيئات السحابية.
واحدة من التحديات الرئيسية لتطبيقات البيانات الكبيرة الناجحة على السحابة هو تكوين منصات تخزين فعالة وبنية تحتية ذات كفاءة. خدمات ويب أمازون (AWS)، ومحرك حساب جوجل (GCE)، ومايكروسوفت أزور، و تطبيقت محرك جوجل أمثلة ناجحة على بيئات الحوسبة السحابية التي تتضمن بيانات كبيرة.
توفير التقنيات مفتوحة المصدر للسحابة يمثل أيضا تحدياً رئيسياً. وهذا من شأنه جذب المزيد من المستخدمين، وهذه هي الميزة الرئيسية التي تجعل Hadoop البرنامج الأكثر شعبية لمعالجة البيانات الكبيرة في البيئة السحابية. MapReduce هو خوارزمية لمعالجة كميات كبيرة من البيانات. Hadoop MapReduce هوبرنامج تنفيذي مفتوح المصدر لخوارزمية MapReduce.