ترغب بنشر مسار تعليمي؟ اضغط هنا

قواعد الشبكة العصبية المتكررة

Universal Recurrent Neural Network Grammar

362   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

الأساليب الحديثة لتحليل الدوائر الانتخابية هي مناهج إشراف أحادية اللغات التي تتطلب كمية كبيرة من البيانات المسمى التي سيتم تدريبها على، مما يحد من فائدتها إلى حفنة فقط من لغات الموارد العالية فقط. لمعالجة هذه المسألة في هذه المسألة لغات الموارد المنخفضة، نقترح نواعد الشبكة العصبية المتكررة عالمية (UNIRNNG) وهي متغير متعدد اللغات من نموذج قواعد الشبكة العصبية المتكررة (RNNG) المتكررة (RNNG) لتحليل الدوائر الانتخابية. ينطوي UNIRNNG على تعلم التحويل عبر اللغات لمهمة تحليل الدوائر الانتخابية. يتم إلهام بنية UNIRNNG من حيث المبدأ ونظرية المعلمة التي اقترحها نام تشومسكي. تستخدم UNIRNNG المعرفة النموذجية اللغوية المتاحة كقيم ميزة داخل قاعدة بيانات WALS، للتعميم على لغات متعددة. بمجرد التدريب على Corpus PolyGlot PolyGlot المتنوع بما فيه الكفاية، يمكن تطبيقه على أي لغة طبيعية مما يجعلها محلل الدائرة الانتخابية اللازمة للغات. تكشف التجارب أن نهج خطوط خط الأساس المتوفرة في UNIRNNG المتفوقة بالنسبة لنا أكبر من أجل معظم اللغات المستهدفة التي تم اختبارها.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

في اللغويات الحسابية، فقد تبين أن الهياكل الهرمية تجعل نماذج اللغة (LMS) أكثر تشبه الإنسان. ومع ذلك، فإن الأدب السابق كان غير ملائم حول استراتيجية تحليل النماذج الهرمية. في هذه الورقة، قامنا بالتحقيق في ما إذا كانت الهياكل الهرمية تجعل LMS أكثر تشبه الإنسان، وإذا كان الأمر كذلك، ما هي استراتيجية التحليل أكثر منطقية. من أجل معالجة هذا السؤال، قمنا بتقييم ثلاثة LMS ضد أوقات القراءة البشرية باللغة اليابانية مع هياكل المتفرعة اليسرى في الرأس: ذاكرة طويلة الأجل الطويلة (LSTM) كطراز متتابع ونواسيب الشبكة العصبية المتكررة (RNNGS) مع أعلى إلى أسفل واستراتيجيات تحليل الركن الأيسر كنماذج هرمية. أظهرت النمذجة الحاسوبية لدينا أن RNNGS الركن الأيسر تفوقت على RNNGS و LSTM من أعلى إلى أسفل، مما يشير إلى أن هياكل التسلسل الهرمي واليسرى من المعقول أكثر منطقية أكثر من الأعلى إلى أسفل أو هندسة متسلسلة. بالإضافة إلى ذلك، سيتم مناقشة العلاقات بين المعقول المعرفي و (1) حيرة، (2) تحليل، و (III) بحجم شعاع.
تعتمد الترجمة الآلية عادة على Corpora الموازي لتوفير إشارات متوازية للتدريب.جلبت ظهور الترجمة الآلية غير المنشورة ترجمة آلة بعيدا عن هذا الاعتماد، على الرغم من أن الأداء لا يزال يتخلف عن الترجمة التقليدية للإشراف الآلية.في الترجمة الآلية غير المنشورة ، يسعى النموذج إلى أوجه تشابه لغة متماثلة كمصدر للإشارة الموازية الضعيفة لتحقيق الترجمة.إن نظرية تشومسكي العالمي النجمية تفترض أن القواعد هي شكل فطري من المعرفة للبشر ويحكمها المبادئ والقيود العالمية.لذلك، في هذه الورقة، نسعى إلى الاستفادة من هذه الأدلة القواعد المشتركة لتوفير إشارات متوازية لغة أكثر صراحة لتعزيز تدريب نماذج الترجمة الآلية غير المنشورة.من خلال تجارب على أزواج لغة متعددة النموذجية، نوضح فعالية مناهجنا المقترحة.
تعتمد معالجة شفرة المصدر بشكل كبير على الأساليب المستخدمة على نطاق واسع في معالجة اللغة الطبيعية (NLP)، ولكنها تنطوي على تفاصيل يجب مراعاتها في الاعتبار لتحقيق جودة أعلى.مثال على هذا الخصوصية هو أن دلالات متغير محددة ليس فقط باسمها ولكن أيضا من خلال السياقات التي يحدث فيها المتغير.في هذا العمل، نطور embeddings الديناميكي، وهي آلية متكررة تضبط الدلالات المستفادة للمتغير عند حصولها على مزيد من المعلومات حول دور المتغير في البرنامج.نظهر أن استخدام المدينات الديناميكية المقترحة يحسن بشكل كبير من أداء الشبكة العصبية المتكررة، في إكمال التعليمات البرمجية ومهام إصلاح الأخطاء.
تم الآن إنشاء أن نماذج اللغة العصبية الحديثة يمكن تدريبها بنجاح على لغات متعددة في وقت واحد دون تغييرات على الهندسة المعمارية الأساسية، وتوفير طريقة سهلة لتكييف مجموعة متنوعة من نماذج NLP لغات الموارد المنخفضة.ولكن ما نوع المعرفة المشتركة حقا بين الل غات داخل هذه النماذج؟هل يؤدي التدريب المتعدد اللغات في الغالب إلى محاذاة مساحات التمثيل المعجمية أو هل تمكن أيضا تقاسم المعرفة النحوية بحتة؟في هذه الورقة، نشرج أشكال مختلفة من التحويل المتبادل والبحث عن عواملها الأكثر تحديدا، باستخدام مجموعة متنوعة من النماذج والمهام التحقيق.نجد أن تعريض LMS لدينا بلغة ذات صلة لا تؤدي دائما إلى زيادة المعرفة النحوية في اللغة المستهدفة، وأن الظروف المثلى للنقل الدلالي المعجمي قد لا تكون الأمثل للتحويل النحوي.
تهدف المنطق الرياضي إلى استنتاج الحلول الراضية بناء على أسئلة الرياضيات المعينة. أثبتت أبحاث معالجة اللغة الطبيعية السابقة فعالية التسلسل إلى التسلسل (SEQ2SEQ) أو المتغيرات ذات الصلة على حل الرياضيات. ومع ذلك، تمكن عدد قليل من الأعمال من استكشاف المع لومات الهيكلية أو النحوية المخفية في التعبيرات (على سبيل المثال، الأسبقية والزملاء). وضعت هذه الرسالة للتحقيق في فائدة مثل هذه المعلومات غير المستغلة للهندسة العصبية. أولا، يتم تمثيل الأسئلة الرياضية بتنسيق الرسوم البيانية داخل تحليل بناء الجملة. تتيح لهم الطبيعة المنظمة للرسوم البيانية أن تمثل علاقات المتغيرات أو المشغلين مع الحفاظ على دلالات التعبيرات. بعد أن تحولت إلى التمثيلات الجديدة، اقترحنا Graphmr الشبكة العصبية الرسمية الرسمية، والتي يمكن أن تتعلم بفعالية المعلومات الهرمية من مدخلات الرسوم البيانية لحل الرياضيات وتوقع الإجابات. يتم بناء سيناريو تجريبي كامل مع أربع فئات من المهام الرياضية وثلاثة خطوط خطوط خطوط خطوط SEQ2SEQ لإجراء تحليل شامل، وتظهر النتائج أن Graphmr تفوقت على الآخرين في التعلم والمعلومات المخفية والحل الرياضيات.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا