اخترنا في هذا المشروع العمل على تطوير نظام يقوم بتصنيف المستندات العربية حسب محتواها, يقوم هذه النظام بالتحليل اللفظي لكلمات المستند ثم إجراء عملية Stemming"رد الأفعال إلى أصلها" ثم تطبيق عملية إحصائية على المستند في مرحلة تدريب النظام ثم بالاعتماد
على خوارزميات في الذكاء الصنعي يتم تصنيف المستند حسب محتواه ضمن عناقيد
نتيجةً للتطور الهائل في العلوم والتكنولوجيا، والانتشار الواسع للإنترنت، باتت المعرفة البشرية في متناول كل شخص منا. لكن ومع هذا الكم الهائل من المعلومات، اصبح القارئ مشتتا بين مصادر عديدة تجعله يضيع في هذا الفضاء الواسع. انفجار المعلومات هذا تطلب وسائ
ل للسيطرة عليه تقوم بتنظيم هذه المعلومات وترتيبها تحت عناوين عريضة، وتتتبعها. من هنا بدء المجتمع التقني بالاتجاه نحو مجال جديد اطلق عليه اسم اكتشاف الموضوع وتتبعه.
يطبق هذا المفهوم بشكل واسع في مجال شبكات التواصل الاجتماعي، الاخبار، المقالات العلمية وغيرها الكثير. ففي مجال الاخبار كثيرا ما ترى آلاف وكالات الاخبار تبث عشرات الاف القصص الاخبارية حول نفس الحدث، ما دفع البوابات الاخبارية وفي مقدمتها Google news لتطبيق نظام اكتشاف للموضوع وتتبعه.
يعنى هذا النظام بمجموعة من المهام المعرفة من قبل منظمة DARPA، أولها مراقبة سيل من القصص النصية المتصلة لمعرفة الحدود الفاصلة بين كل قصة والاخرى، وتدعى تقطيع القصص، ثانيها مهمتها الاجابة على السؤال: هل تناقش قصتان معطاتان نفس الموضوع او الحدث؟ وتدعى اكتشاف الصلة. ثالثها معنية بمراقبة سيل من القصص لاكتشاف تلك التي تناقش موضوعا معرفا من قبل المستخدم، وتدعى بتتبع الموضوع. رابعها تهتم بالتعرف على القصص التي تناقش احداثا جديدة فور وصولها، وتدعى اكتشاف القصة الاولى. واخرها تدعى اكتشاف الموضوع، وهي مسؤولة عن فصل مجموعة من القصص المختلطة الى مواضيع، بدون اي معرفة مسبقة بهذه المواضيع، اي تجميع القصص التي تناقش موضوعا واحدا في نفس العنقود.
نعمل من خلال هذا المشروع على تطبيق المهام الاربع الاخيرة وتقييمها. يتم استلام القصص في الزمن الحقيقي، اجراء معالجة مسبقة عليها (معالجة لغوية وغير ذلك)، ثم يتم تمثيل القصص بشكل اشعة وتوزين كلمات كل قصة، يتم بعدها اختيار مجموعة كلمات لتمثيل القصة. اما تمثيل المواضيع فنختبر اشكالا مختلفة، كالتمثيل الشعاعي او التمثيل بالقصص وغير ذلك. نناقش خلال هذا المشروع ايضاً استخدام معايير مختلفة لتمثيل القصص وقياس تشابهها، ونختبر استخدام عنوان القصة وتاريخها كمميزات بالإضافة الى مجموعة الكلمات. كما ونتحدث عن منهج خاص بنا لتقييس التشابهات بين القصص والتخفيف من تأثير عمليات اختيار العتبات في النظام، ونعرض التحسينات المذهلة التي يبديها هذا المنهج، والتي تمكن من بناء نظام اكتشاف موضوع وتتبعه، دون القلق حول تحديد العتبة اطلاقا، والذي لطالما كان يمثل التحدي الاكبر لهذا النوع من الانظمة. نتحدث عن تطبيقنا لخوارزميات العنقدة الاكثر تطورا في مهمة اكتشاف الموضوع، ونعرض كيفية قيامنا بتعديل مصفوفة التجاذب في خوارزمية العنقدة الطيفية المطروحة واستخدام طريقة تقييس مختلفة تم تكييفها مع حالة نظامنا، والتي ادت الى تحسين اداء العنقدة من 0.89 الى 0.97 مقاسا على F-measure
أصبحت قضية استرجاع المعلومات في يومنا هذا من أهم القضايا والتحدّيات التي تشغل العالم كنتيجة منطقية للتطوّر التكنولوجي المتسارع والتقدم الهائل في الفكر الإنساني والبحوث والدراسات العلمية في شتى فروع المعرفة وما رافقه من ازدياد في كميات المعلومات إلى ح
دّ يصعب التحكم بها والتعامل معها.
لذا نهدف في مشروعنا إلى تقديم نظام استرجاع معلومات يقوم بتصنيف المستندات حسب محتواها إلا أن عمليّة استرجاع المعلومات تحوي درجة من عدم التأكد في كل مرحلة من مراحلها لذا اعتمدنا على شبكات بيز للقيام بعملية التصنيف وهي شبكات احتماليّة تحوّل المعلومات إلى علاقات cause-and-effect و تعتبر واحدة من أهم الطرق الواعدة لمعالجة حالة عدم التأكد .
في البدء نقوم بالتعريف بأساسيّات شبكات بيز ونشرح مجموعة من خوارزميّات بنائها وخوارزميّات الاستدلال المستخدمة ( ولها نوعان دقيق وتقريبي).
يقوم هذه النظام بإجراء مجموعة من عمليّات المعالجة الأوليّة لنصوص المستندات ثم تطبيق عمليات إحصائية واحتمالية في مرحلة تدريب النظام والحصول على بنية شبكة بيز الموافقة لبيانات التدريب و يتم تصنيف مستند مدخل باستخدام مجموعة من خوارزميات الاستدلال الدقيق في شبكة بيز الناتجة لدينا.
بما أنّ أداء أي نظام استرجاع معلومات عادة ما يزداد دقّة عند استخدام العلاقات بين المفردات (terms) المتضمّنة في مجموعة مستندات فسنأخذ بعين الاعتبار نوعين من العلاقات في بناء الشبكة:
1- العلاقات بين المفردات(terms).
2- العلاقات بين المفردات والأصناف(classes).
An expert system was developed to consider words' grammar case in Arabic phrases without diacritics. First, the system gets words' morphology and tags using Microsoft tool (ATK), then it depends on Arabic grammar to get words' grammar case in nominal
phrases. The system gave a very good results as they compared with Arabic language expert.
Statistical approaches to processing natural language text have become dominant in recent years. It provides broad but rigorous coverage of mathematical and linguistic foundations, as well as detailed discussion of statistical methods, allowing students and researchers to construct their own implementations.
Proofreading is the process of checking text to detect spelling, grammatical, and semantic errors in order to correct them, proofreading the grammar and the meaning of the natural languages is considered one of the basic objectives for people who a
re interested in computational linguistics, because it becomes necessary for checking written text on the computers in multiple areas, such as proofreading emails and texts on the websites pages, it is also essential for proofreading scientific articles and researches, and it can be used to correct students' answers in the traditional e-learning exams. In addition to that the manual correction process of students' answers in the traditional way is expensive in terms of time and effort, sometimes it is error prone, and it becomes more difficult when there are large number of students, so the automatic correction process is an important step to save time and effort and it avoids errors during correcting answers in the traditional way. This research presents the stages of building Automatic Content Verification Compiler. It presents the stages of building a system which is interested in English syntax check, and it displays the stages of the lexical analysis which is considered a first stage to execute the syntax analysis, in addition to that it shows the stages of executing the syntax analysis which builds the grammatical model, this model describes the simple sentences in English, the study depends on studying grammatical structure in English, then it suggests suitable parts of this model, and it presents an application which verifies English sentences and draws derivation tree of these sentences.
In general, the aim of an automatic speech recognition system is to write down what is said. State of the art continuous speech recognition systems consist of four basic modules: the signal processing, the acoustic modeling, the language modeling and
the search engine. While isolated word recognition systems do not contain language modeling, which is responsible for connecting words together to form understandable sentences.
Arabic sentiment analysis research existing currently is very limited. While sentiment analysis has many applications in English, the Arabic language is still recognizing its early steps in this field. In this paper, we show an application
on Arabic
sentiment analysis by implementing a sentiment classification for Arabic tweets. The retrieved tweets are analyzed to provide their sentiments polarity (positive, or negative). Since, this data is collected from the social network Twitter; it has its importance for the Middle East region, which mostly speaks Arabic
قمنا في هذا البحث باتباع نهج تحليل المشاعر المعتمد على المعجم لتحديد التوجه العام للطلاب، ايجابي او سلبي او محايد، اذ قمنا بداية ببناء معجم مشاعر انطلاقا من بعض المعاجم المعدة مسبقا ليتم اعتماده في عملية تحليل المشاعر، ثم قمنا بوضع نموذج يوجد رأي الط
لاب العام بالاعتماد على المعجم السابق، يعالج النموذج الكتابي الكلمات التي تزيد من حدة المشاعر والرموز التعبيرية وبعض حالات النفي، وقمنا باضافة تفاعلات المستخدمين الأخرين مع المنشورات عند ايجاد التوجه العام بهدف اخذ أراء الطلاب الذين لم يعبروا عن أرائهم بنصوص مكتوبة.
Designing Computerized Systems which posses reading and hearing
faculties is an active research area for more than four decades. Many
methods and algorithms have been suggested by researches for this
purpose as part of pattern recognition research
. Recently, more
research work has been devoted to the holist approach the
recognition system recognizes a complete word as one object without
going through the long and erroneous character segmentation
process. In this paper, a convolutional neural network has been
designed to recognize the popular Arabic names holistically. SUSt
ARG names data set has been used to test the network performance
(collected and compiled by pattern recognition research in Sudan
University of Science and Technology-SUSt). Selecting an appropriate
deep learning toolbox, after five stages of training, the network was
able to recognize all the names and 100%
