اشترك بالحزمة الذهبية واحصل على وصول غير محدود شمرا أكاديميا
تسجيل مستخدم جديدنظام تصنيف المستندات العربية حسب محتواها
Arabic documents classification system
3437
1 471
0
(
0
)
تمت اﻹضافة من قبل
Shadi Saleh
اسأل ChatGPT حول البحث
اخترنا في هذا المشروع العمل على تطوير نظام يقوم بتصنيف المستندات العربية حسب محتواها, يقوم هذه النظام بالتحليل اللفظي لكلمات المستند ثم إجراء عملية Stemming"رد الأفعال إلى أصلها" ثم تطبيق عملية إحصائية على المستند في مرحلة تدريب النظام ثم بالاعتماد على خوارزميات في الذكاء الصنعي يتم تصنيف المستند حسب محتواه ضمن عناقيد
No English abstract
المراجع المستخدمة
Larkey, L.S., L. Ballesteros, and M.E. Connell, Improving stemming for Arabic information retrieval: light stemming and co-occurrence analysis, in Proceedings of the 25th annual international ACM SIGIR conference on Research and development in information retrieval2002, ACM: Tampere, Finland. p. 275-282.
Al-Shammari, E.T. Improving Arabic document categorization: Introducing local stem. in Intelligent Systems Design and Applications (ISDA), 2010 10th International Conference on. 2010.
Porter, M.F., An algorithm for suffix stripping, in Readings in information retrieval, J. Karen Sparck and W. Peter, Editors. 1997, Morgan Kaufmann Publishers Inc. p. 313-316.
Lin, E.A.-S.a.J., A new Arabic stemming algorithm. In Proceedings of the 2008 ISCA Workshop on Experimental Linguistics, 2008
قيم البحث
اقرأ أيضاً
نقدم في هذا البحث خوارزمية لتجميع نصوص اللغة العربية. حيث نفذنا الخوارزمية
على 5 أنطولوجيات عبر برنامج بلغة الجافا، ثم عالجنا النصوص بحيث حصلنا على
338667 مفردة مع أوزانها المقابلة لكل أنطولوجيا. و قد أثبتت الخوارزمية فعاليتها في تحسين أداء المصنفا
ت التي تم تجربتها في هذه الدراسة و هي (NB,SVM) مقارنة مع نتائج مصنفات اللغة العربية السابقة.
في هذه الورقة، نقدم مصنف صاعقة صعبة عصرية عربية (MSA) الحديثة، والذي يتوقع صعوبة الجمل المتعلمين في اللغة باستخدام مستويات الكفاءة CEFR أو التصنيف الثنائي بصورة بسيطة أو معقدة.نحن نقارن استخدام تضمين الجملة من أنواع مختلفة (fastlext، mbert، xlm-r وال
عربية-bert)، وكذلك ميزات اللغة التقليدية مثل علامات نقاط البيع وأشجار التبعية وعشرات قابلية القراءة وقوائم التردد لمتعلمي اللغة.تم تحقيق أفضل النتائج لدينا باستخدام Brited Berted Berted Bert.دقة تصنيف CEFR الخاص بنا ثلاثي الاتجاه هو F-1 من 0.80 و 0.75 للتصنيف باللغة العربية-Bert و XLM-R على التوالي و 0.71 ارتباط سبيرمان للانحدار.يصل مصنف صعوبةنا الثنائية إلى F-1 0.94 و F-1 0.98 للقراءة الدلالية للقرن.
تجذب تصنيف المعنويات والكشف عن السخرية الكثير من الاهتمام من قبل مجتمع البحوث NLP. ومع ذلك، فإن حل هاتين المشكلتين باللغة العربية وعلى أساس بيانات الشبكة الاجتماعية (I.E.، Twitter) لا يزال مصلحة أقل. في هذه الورقة نقدم حلولا مخصصة لتصنيف المعنويات وم
هام الكشف عن السخرية التي تم تقديمها كجزء من مهمة مشتركة من قبل أبو فرحة وآخرون. (2021). نقوم بضبط نماذج المحولات الحالية المحولات الحالية لاحتياجاتنا. بالإضافة إلى ذلك، نستخدم مجموعة متنوعة من تقنيات التعلم الآلي مثل أخذ العينات الأولية والتكبير والتعبئة والتغليف واستخدام ميزات META لتحسين أداء النماذج. نحن نحقق درجة F1 من 0.75 على مشكلة تصنيف المعنويات حيث يتم حساب درجة F1 على الفصول الإيجابية والسلبية (لا يتم أخذ الفصل المحايد في الاعتبار). نحن نحقق درجة F1 من 0.66 فوق مشكلة الكشف عن السخرية حيث يتم حساب درجة F1 عبر الفئة الساخرة فقط. في كلتا الحالتين، يتم تقييم النتائج المذكورة أعلاه على Arsarcasm-V2 - مجموعة بيانات ممتدة من Arsarcasm (Farha و Magdy، 2020) تم تقديمها كجزء من المهمة المشتركة. هذا يعكس تحسنا لتحقيق أحدث النتائج في كلتا المهام.
تحتل الدراسات التي تتناول حوسبة اللغة العربية أهمية كبيرة نظراً للانتشار الواسع للغة العربية , و اخترنا في هذه الدراسة العمل على معالجة اللغة العربية من خلال نظام استرجاع معلومات للمستندات باللغة العربية , الفكرة الأساسية لهذا النظام هو تحليل المستن
دات والنصوص العربية و إنشاء فهارس للمصطلحات الواردة فيها , ومن ثم استخلاص أشعة أوزان تعبر عن هذه المستندات من أجل المعالجة اللاحقة للاستعلام و المقارنة مع هذه الأشعة للحصول على المستندات الموافقة لهذا الاستعلام .
من خلال عملية تجريد للمصطلحات الواردة في المستندات تم الحصول على كفاءة استرجاع أفضل , و تعرضنا للعديد من خوارزميات التجريد التي وصلت إليها الدراسات السابقة .
و تأتي عملية عنقدة المستندات كإضافة هامة , حيث يتمكن المستخدم من معرفة المستندات المشابهة لنتيجة البحث و التي لها صلة بـالاستعلام المدخل .
في التطبيق العملي , تم العمل على نظام استرجاع معلومات مكتبي , يقوم بقراءة نصوص ذات أنواع مختلفة و عرض النتائج مع العناقيد الموافقة لها .
تم تطوير نظام خبير لإعراب مفردات الجمل العربية دون تشكيل. يقوم النظام أولاً بإيجاد تصريف الكلمات و نوعها باستخدام أداة (Microsoft (ATK، ويستمد خبرته من قواعد اللغة العربية في إيجاد إعراب مفردات الجمل الإسمية. استجاب النظام بشكل صحيح بنسبة جيدة جداً و
تمت مقارنة النتائج الصادرة عنه مع نتائج خبير باللغة العربية.
سجل دخول لتتمكن من نشر تعليقات
التعليقات
جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
