اشترك بالحزمة الذهبية واحصل على وصول غير محدود شمرا أكاديميا
تسجيل مستخدم جديدتطوير مكتبة برمجية لاختبار تطبيقات البيانات الضخمة في بيئة محاكية لبيئة Hadoop
Develop a Software Library to Test Big Data Applications in a Simulated Hadoop Environment
1938
1 57
0
(
0
)
تمت اﻹضافة من قبل
Shamra Editor
اسأل ChatGPT حول البحث
من خلال دراستنا تم تطوير مكتبة برمجية HadoopOperationTesting تقدم لمختبري تطبيقات البيانات الضخمة آلية لاختبار تطبيقاتهم ضمن بيئة محاكية لبيئة Hadoop بآلية مشابهة لاختبار التطبيقات التقليدية باستخدام المكتبة JUnit.
Through our study, the HadoopOperationTesting software library has been developed to provide Big Data applications labs with a mechanism to test their applications in a simulated environment for the Hadoop environment with a similar mechanism to test traditional applications using the JUnit library.
مراجعة الذكاء الصنعي:
ملخص البحث
تقدم هذه الدراسة مكتبة برمجية جديدة تُدعى HadoopOperationTesting، والتي تهدف إلى تسهيل عملية اختبار تطبيقات البيانات الضخمة في بيئة محاكية لبيئة Hadoop. تُعتبر عملية اختبار البرمجيات أمرًا حيويًا لضمان اكتشاف الأخطاء ومعالجتها قبل نشر البرمجيات للمستخدمين. مع انتشار تطبيقات البيانات الضخمة، أصبحت الحاجة ملحة لاختبار هذه التطبيقات والتأكد من صحة الخدمات المقدمة للمستخدمين. تعتمد المكتبة الجديدة على منصة Hadoop وتستخدم نموذج MapReduce لمعالجة البيانات. تم تطوير المكتبة لتوفير آلية اختبار مشابهة لاختبار التطبيقات التقليدية باستخدام مكتبة JUnit. تشمل المكتبة أربع حزم رئيسية تغطي اختبار تطبيقات MapReduce، HiveQL، وPigLatin. من خلال هذه المكتبة، يمكن للمختبرين إجراء اختباراتهم دون الحاجة إلى معرفة تفصيلية بكيفية إعداد أو تنفيذ الاختبارات في بيئة Hadoop. تقدم الدراسة أيضًا تفاصيل حول كيفية استخدام المكتبة لإجراء الاختبارات، بما في ذلك إعداد بيانات الدخل والخرج وتحديد الصفوف والإجراءات اللازمة للاختبار. تُعد هذه الدراسة أساسًا لدراسات مستقبلية تهدف إلى تطوير أدوات اختبار أكثر شمولية لتطبيقات البيانات الضخمة في بيئات Hadoop الفعلية.
قراءة نقدية
دراسة نقدية: تُعد هذه الدراسة خطوة مهمة نحو تحسين عملية اختبار تطبيقات البيانات الضخمة، ولكن هناك بعض النقاط التي يمكن تحسينها. أولاً، بينما تقدم المكتبة حلاً محاكيًا لبيئة Hadoop، إلا أن الاختبارات في بيئة محاكية قد لا تعكس دائمًا جميع التحديات التي قد تواجه التطبيقات في بيئة الإنتاج الفعلية. لذلك، يمكن أن تكون هناك حاجة لتطوير أدوات اختبار تعمل مباشرة في بيئة Hadoop الفعلية. ثانيًا، تعتمد المكتبة بشكل كبير على JUnit، مما قد يكون محدودًا للمطورين الذين يستخدمون أدوات اختبار أخرى. وأخيرًا، لم تتناول الدراسة بشكل كافٍ كيفية التعامل مع التحديات الأمنية في بيئة البيانات الضخمة، وهو جانب مهم يجب مراعاته في الأبحاث المستقبلية.
أسئلة حول البحث
-
ما هي الفائدة الرئيسية من استخدام مكتبة HadoopOperationTesting؟
الفائدة الرئيسية هي تسهيل عملية اختبار تطبيقات البيانات الضخمة في بيئة محاكية لبيئة Hadoop، مما يسمح للمختبرين بإجراء اختباراتهم دون الحاجة إلى معرفة تفصيلية بكيفية إعداد أو تنفيذ الاختبارات في بيئة Hadoop.
-
ما هي الأدوات والتقنيات التي تعتمد عليها مكتبة HadoopOperationTesting؟
تعتمد المكتبة على منصة Hadoop ونموذج MapReduce لمعالجة البيانات، وتستخدم مكتبة JUnit لتوفير آلية اختبار مشابهة لاختبار التطبيقات التقليدية.
-
ما هي التحديات التي قد تواجهها المكتبة في بيئة الإنتاج الفعلية؟
قد لا تعكس الاختبارات في بيئة محاكية جميع التحديات التي قد تواجه التطبيقات في بيئة الإنتاج الفعلية، مثل التحديات الأمنية والتعامل مع كميات هائلة من البيانات في وقت حقيقي.
-
كيف يمكن استخدام مكتبة HadoopOperationTesting لإجراء الاختبارات؟
يمكن استخدام المكتبة من خلال تضمين ملف jar. الذي يحوي إحدى الحزم التي تم تطويرها، ثم إعداد بيانات الدخل والخرج وتحديد الصفوف والإجراءات اللازمة للاختبار، وتنفيذ الاختبارات بطريقة مشابهة لاختبارات JUnit التقليدية.
المراجع المستخدمة
CHAVAN.V, PHURSULE.R.N.J,2014-Survey Paper On Big Data, Imperial Collage of Engineering and Research, Pune
RATHEE.S, 2013-Big Data and Hadoop with components like Flume, Pig, Hive and Jaql, Department of Computer Science and Engineering Kurukshetra University, Haryana, India
WOTTRISH.k, 2011-The The Performance Characteristics of MapReduce Applications on Scalable Clusters
قيم البحث
اقرأ أيضاً
في السنوات الأخيرة، تلقت معالجة الوقت الحرج (المعالجة في الوقت الحقيقي) وتحليل البيانات الكبيرة قدراً كبيراً من الاهتمام.
فهناك العديد من المجالات التي يمكن فيها معالجة البيانات في الوقت الفعلي، حيث أن اتخاذ القرارات في الوقت المناسب
يستطيع إنقاذ ا
لآلاف من الأرواح البشرية، التقليل من مخاطر أرواح البشر والموارد، تعزيز نوعية حياة البشر، تعزيز فرص
الربحية، وإدارة الموارد بفعالية. فتأتي هنا هذه الورقة التي تسّلط الضوء على هذا النوع من التطبيقات التحليلية للبيانات الكبيرة
في الوقت الحقيقي وتصّنف تلك التطبيقات. بالإضافة إلى ذلك، فإنها تقدم نظرة عامة على البيانات الكبيرة لوصف المعرفة
الأساسية في هذا المجال، فضلاً عن علاقة البيانات الكبيرة بتعلم الآلة وكيفية ربطهم سويًة لتحسين الأداء ورفع سويته.
حظي مؤخرا اختصاص البيانات الضخمة باهتمام كبير في مجالات متنوعة منها (الطب , العلوم , الادارة, السياسة , ......)
و يهتم هذا الاختصاص بدراسة مجموعة البيانات الضخمة والتي تعجز الادوات والطرق الشائعة على معالجتها و ادارتها و تنظيمها خلال فترة زمنية مقبو
لة و بناء نموذج للتعامل مع هذه المعطيات والتنبؤ باغراض مطلوبة منها.
ولاجراء هذه الدراسات ظهرت طرق عدة منها النماذج التي تعتمد على مجموعة من البيانات و نماذج تعتمد على المحاكاة و في هذه المقالة تم توضيح الفرق بين النموذجين و تطبيق نهج جديد يعتمد على التكامل بين النموذجين لاعطاء نموذح افضل لمعالجة مسالة البيوت البلاستيكة
حقق محول ومتغيراتها نجاحا كبيرا في معالجة اللغة الطبيعية.نظرا لأن طرازات المحولات ضخمة الحجم، فإن خدمة هذه النماذج هي تحديا للتطبيقات الصناعية الحقيقية.في هذه الورقة، نقترح، مكتبة الاستدلال عالية الكفاءة للنماذج في عائلة المحولات.يتضمن سلسلة من تقنيا
ت تحسين GPU لكلا من تبسيط حساب طبقات المحولات وتقليل بيانات الذاكرة.يدعم النماذج المدربة باستخدام Pytorch و Tensorflow.النتائج التجريبية على معايير الترجمة الآلية القياسية تظهر أنها تحقق تصل إلى 14x تسريع مقارنة مع Tensorflow وتسريع 1.4x مقارنة مع تنفيذ CUDA المتزامن.سيتم إصدار الرمز علنا بعد المراجعة.
يقدم هذا البحث دراسة حول الاتجاهات الحالية في تطوير تطبيقات هاتف محمول تعمل على عدة منصات بهدف توفير رؤية عامة عن الحالة الفعلية لهذا المجال. البحث يركز بشكل أساسي على عدة أشياء: أولا، إ نه يوضح المشهد الكامل للتطوير متعدد المنصات عن طريق استعراض أنو
اع التطبيقات المتعددة المنصات الأكثر أهمية و التي هي:
تطبيقات الويب، التطبيقات الهجينة، التطبيقات المفسرة، التطبيقات المترجَمة. ثانياً، يتم عرض قضايا رئيسية من أجل كل نوع تطبيق و انجاز تحليل مقارنة لتسليط الضوء على مزايا و عيوب كل نوع. ثالثاً، يتم إبراز المغالطات و المآزق في طرق التطوير المتعدد المنصات المختلفة و رفع مستوى الوعي حول هكذا قضايا و المساعدة في اختيار طريقة مناسبة. في النهاية، هذا البحث يقدم بعض الاستنتاجات بخصوص طرق تطوير
تطبيقات الهاتف المحمول المتعدد المنصات.
سجل دخول لتتمكن من نشر تعليقات
التعليقات
جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
