Subscribe to the gold package and get unlimited access to Shamra Academy
Register a new userDevelop a Software Library to Test Big Data Applications in a Simulated Hadoop Environment
تطوير مكتبة برمجية لاختبار تطبيقات البيانات الضخمة في بيئة محاكية لبيئة Hadoop
1935
1 57
0
(
0
)
Created by
Shamra Editor
Ask ChatGPT about the research
من خلال دراستنا تم تطوير مكتبة برمجية HadoopOperationTesting تقدم لمختبري تطبيقات البيانات الضخمة آلية لاختبار تطبيقاتهم ضمن بيئة محاكية لبيئة Hadoop بآلية مشابهة لاختبار التطبيقات التقليدية باستخدام المكتبة JUnit.
Through our study, the HadoopOperationTesting software library has been developed to provide Big Data applications labs with a mechanism to test their applications in a simulated environment for the Hadoop environment with a similar mechanism to test traditional applications using the JUnit library.
Artificial intelligence review:
Research summary
تقدم هذه الدراسة مكتبة برمجية جديدة تُدعى HadoopOperationTesting، والتي تهدف إلى تسهيل عملية اختبار تطبيقات البيانات الضخمة في بيئة محاكية لبيئة Hadoop. تُعتبر عملية اختبار البرمجيات أمرًا حيويًا لضمان اكتشاف الأخطاء ومعالجتها قبل نشر البرمجيات للمستخدمين. مع انتشار تطبيقات البيانات الضخمة، أصبحت الحاجة ملحة لاختبار هذه التطبيقات والتأكد من صحة الخدمات المقدمة للمستخدمين. تعتمد المكتبة الجديدة على منصة Hadoop وتستخدم نموذج MapReduce لمعالجة البيانات. تم تطوير المكتبة لتوفير آلية اختبار مشابهة لاختبار التطبيقات التقليدية باستخدام مكتبة JUnit. تشمل المكتبة أربع حزم رئيسية تغطي اختبار تطبيقات MapReduce، HiveQL، وPigLatin. من خلال هذه المكتبة، يمكن للمختبرين إجراء اختباراتهم دون الحاجة إلى معرفة تفصيلية بكيفية إعداد أو تنفيذ الاختبارات في بيئة Hadoop. تقدم الدراسة أيضًا تفاصيل حول كيفية استخدام المكتبة لإجراء الاختبارات، بما في ذلك إعداد بيانات الدخل والخرج وتحديد الصفوف والإجراءات اللازمة للاختبار. تُعد هذه الدراسة أساسًا لدراسات مستقبلية تهدف إلى تطوير أدوات اختبار أكثر شمولية لتطبيقات البيانات الضخمة في بيئات Hadoop الفعلية.
Critical review
دراسة نقدية: تُعد هذه الدراسة خطوة مهمة نحو تحسين عملية اختبار تطبيقات البيانات الضخمة، ولكن هناك بعض النقاط التي يمكن تحسينها. أولاً، بينما تقدم المكتبة حلاً محاكيًا لبيئة Hadoop، إلا أن الاختبارات في بيئة محاكية قد لا تعكس دائمًا جميع التحديات التي قد تواجه التطبيقات في بيئة الإنتاج الفعلية. لذلك، يمكن أن تكون هناك حاجة لتطوير أدوات اختبار تعمل مباشرة في بيئة Hadoop الفعلية. ثانيًا، تعتمد المكتبة بشكل كبير على JUnit، مما قد يكون محدودًا للمطورين الذين يستخدمون أدوات اختبار أخرى. وأخيرًا، لم تتناول الدراسة بشكل كافٍ كيفية التعامل مع التحديات الأمنية في بيئة البيانات الضخمة، وهو جانب مهم يجب مراعاته في الأبحاث المستقبلية.
Questions related to the research
-
ما هي الفائدة الرئيسية من استخدام مكتبة HadoopOperationTesting؟
الفائدة الرئيسية هي تسهيل عملية اختبار تطبيقات البيانات الضخمة في بيئة محاكية لبيئة Hadoop، مما يسمح للمختبرين بإجراء اختباراتهم دون الحاجة إلى معرفة تفصيلية بكيفية إعداد أو تنفيذ الاختبارات في بيئة Hadoop.
-
ما هي الأدوات والتقنيات التي تعتمد عليها مكتبة HadoopOperationTesting؟
تعتمد المكتبة على منصة Hadoop ونموذج MapReduce لمعالجة البيانات، وتستخدم مكتبة JUnit لتوفير آلية اختبار مشابهة لاختبار التطبيقات التقليدية.
-
ما هي التحديات التي قد تواجهها المكتبة في بيئة الإنتاج الفعلية؟
قد لا تعكس الاختبارات في بيئة محاكية جميع التحديات التي قد تواجه التطبيقات في بيئة الإنتاج الفعلية، مثل التحديات الأمنية والتعامل مع كميات هائلة من البيانات في وقت حقيقي.
-
كيف يمكن استخدام مكتبة HadoopOperationTesting لإجراء الاختبارات؟
يمكن استخدام المكتبة من خلال تضمين ملف jar. الذي يحوي إحدى الحزم التي تم تطويرها، ثم إعداد بيانات الدخل والخرج وتحديد الصفوف والإجراءات اللازمة للاختبار، وتنفيذ الاختبارات بطريقة مشابهة لاختبارات JUnit التقليدية.
References used
CHAVAN.V, PHURSULE.R.N.J,2014-Survey Paper On Big Data, Imperial Collage of Engineering and Research, Pune
RATHEE.S, 2013-Big Data and Hadoop with components like Flume, Pig, Hive and Jaql, Department of Computer Science and Engineering Kurukshetra University, Haryana, India
WOTTRISH.k, 2011-The The Performance Characteristics of MapReduce Applications on Scalable Clusters
rate research
Read More
In recent years, time-critical processing or real-time processing and analytics of bid data have received a significant amount of attentions. There are many areas/domains where real-time processing of data and making timely decision can save thousand
s of human lives, minimizing the risks of human lives and resources, enhance the quality of human lives, enhance the chance of profitability, efficient resources management etc. This paper has presented such type of real-time big data analytic applications and a classification of those applications. In addition, it presents the time requirements of each type of these applications along with its significant benefits. Also, a general overview of big data to describe a background knowledge on this scope.
حظي مؤخرا اختصاص البيانات الضخمة باهتمام كبير في مجالات متنوعة منها (الطب , العلوم , الادارة, السياسة , ......)
و يهتم هذا الاختصاص بدراسة مجموعة البيانات الضخمة والتي تعجز الادوات والطرق الشائعة على معالجتها و ادارتها و تنظيمها خلال فترة زمنية مقبو
لة و بناء نموذج للتعامل مع هذه المعطيات والتنبؤ باغراض مطلوبة منها.
ولاجراء هذه الدراسات ظهرت طرق عدة منها النماذج التي تعتمد على مجموعة من البيانات و نماذج تعتمد على المحاكاة و في هذه المقالة تم توضيح الفرق بين النموذجين و تطبيق نهج جديد يعتمد على التكامل بين النموذجين لاعطاء نموذح افضل لمعالجة مسالة البيوت البلاستيكة
Transformer and its variants have achieved great success in natural language processing. Since Transformer models are huge in size, serving these models is a challenge for real industrial applications. In this paper, we propose , a highly efficient i
nference library for models in the Transformer family. includes a series of GPU optimization techniques to both streamline the computation of Transformer layers and reduce memory footprint. supports models trained using PyTorch and Tensorflow. Experimental results on standard machine translation benchmarks show that achieves up to 14x speedup compared with TensorFlow and 1.4x speedup compared with , a concurrent CUDA implementation. The code will be released publicly after the review.
This paper presents a study on current trends in the development
of cross-platform mobile applications in order to provide an
overview of the actual situation of this area. The research mainly
focuses on several things: first of all, it clarifies
the full landscape
of the cross-platform development by reviewing the most
important various types of cross-platform apps, which are: Web
applications, hybrid applications, interpreted applications and
generated (cross-compiled) applications. Secondly, it presents
basic issues for each kind of application and it performs
comparative analysis to highlight the advantages and
disadvantages of each type. Thirdly, it highlights the fallacies and
pitfalls in various multi-platform development approaches to raise
awareness about such issues and to assist in the selection of an
appropriate way. In the end it presents some conclusions about
cross-platform mobile app development approaches.
Log in to be able to interact and post comments
comments
Fetching comments
Sign in to be able to follow your search criteria
