ترغب بنشر مسار تعليمي؟ اضغط هنا

مشاهدة نموذج اللغة تعلم الشطرنج

Watching a Language Model Learning Chess

264   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

نحن نحلل كيف يتعلم نموذج اللغة القائم على المحولات قواعد الشطرنج من البيانات النصية للألعاب المسجلة.نوضح كيف يمكن البحث عن كيفية القدرة النموذجية والعدد المتاح لبيانات التدريب التي تؤثر على نجاح تعلم نموذج اللغة بمساعدة مقاييس الشطرنج الخاصة.مع هذه المقاييس، نوضح أن المزيد من الألعاب المستخدمة للتدريب في النطاق المستخدمة تقدم نتائج أفضل بكثير لنفس وقت التدريب.ومع ذلك، فإن حجم النموذج لا يظهر مثل هذا التأثير الواضح.من المثير للاهتمام أيضا أن نلاحظ أن مقاييس التقييم المعتادة لنماذج اللغة، ودقة التنبؤية والحيرة، لا تعطي أي إشارة إلى هذا هنا.يكشف فحص المزيد من النماذج المدربة عن كيفية تخزين المعلومات حول حالة المجلس في تفعيلات مجموعات الخلايا العصبية، وكيف تؤثر التسلسل العام للحركات السابقة على التحركات التي تم إنشاؤها حديثا.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

تمكين السلوك التعرفي في وكلاء الحوار باللغة العربية هو جانب مهم في بناء نماذج المحادثة يشبه الإنسان. في حين أن معالجة اللغة العربية الطبيعية قد شهدت تطورات كبيرة في فهم اللغة الطبيعية (NLU) مع نماذج اللغة مثل أرابيرت، فإن توليد اللغة الطبيعية (NLG) ل ا تزال تحديا. تعد أوجه القصور النموذجية لنماذج فك تشفير NLG في المقام الأول إلى عدم وجود مجموعات البيانات العربية مناسبة لتدريب نماذج NLG مثل عوامل المحادثة. للتغلب على هذه المسألة، نقترح فك ترميز التركيب المستندة إلى المحولات مع معلمات أرابتير. من خلال تهيئة أوزان التشفير والكشف عن الأوزان المدربة مسبقا مسبقا، كان طرازنا قادرا على الاستفادة من نقل المعرفة وزيادة الأداء في توليد الاستجابة. لتمكين التعاطف في نموذج المحادثة لدينا، نربطها باستخدام مجموعة بيانات ArabithatheticTialogues وتحقيق الأداء العالي في توليد الاستجابة المتعاطفة. على وجه التحديد، حقق نموذجنا قيمة حيرة منخفضة تتراوح بين 17.0 وزيادة في 5 نقاط بلو مقارنة بالنموذج السابق للدولة السابقة. أيضا، تم تصنيف نموذجنا المقترح بشدة بنسبة 85 مقيم بشري، والتحقق من قادرته عالية في إظهار التعاطف مع توليد الاستجابات ذات الصلة والطلاقة في إعدادات المجال المفتوح.
منطق العموم الزمني هي مهمة صعبة لأنها تتطلب المعرفة الزمنية عادة غير صريحة في النص.في هذا العمل، نقترح نموذج فرقة لسبب المنظمات الزمنية.يعتمد نموذجنا على تمثيلات سياقية مدربة مسبقا من نماذج اللغة القائمة على المحولات (IE، Bert)، وعلى مجموعة متنوعة من طرق التدريب لتعزيز تعميم النموذج: 1) ضبط غرامة متعددة الخطوات باستخدام المهام العاطفية المحددة بعناية ومجموعات البيانات، و2) مهمة نموذجية مصممة مصممة خصيصا له مهمة تهدف إلى التقاط معرفة العمليات الزمنية.يتفوق نموذجنا إلى حد كبير على نهج ضبط الدقيقة القياسية والقواعد الأساسية القوية على DataSet MC-Taco.
نظرا للجهود المعجدة والإدراكية المتورطة في التوليد اليدوي من تعليق واحد لكل إدخال الصورة / الفيديو، فإن موارد الشروح البشرية محدودة للغاية لتسمية المهام. نحن نحدد كفاءة الموارد اللغوية باعتبارها تصل إلى نفس الأداء مع التوضيحية المشروحة أقل لكل مدخلات . ندرس أولا تدهور أداء نماذج التسمية التوضيحية في إعدادات موارد لغة مختلفة. يظهر تحليل نماذج التسمية التوضيحية مع خسارة SC أن تدهور الأداء ناتج عن تقدير المكافأة بشكل متزايد للمكافآت والأساس مع عدد أقل من الموارد اللغوية. لتخفيف هذه المشكلة، نقترح تقليل تباين الضوضاء في الأساس عن طريق تعميم المقارنة الزوجية الفردية في فقدان SC واستخدام مقارنات الزوجية المتعددة المتعمدة. يقيس المقارنة الزوجية المعممة (GPC) الفرق بين درجات التقييم التوضيحتين فيما يتعلق بالإدخال. وإظهار تجريبيا، نظرا لأن النموذج الذي تم تدريبه مع فقدان GPC المقترح فعالا على مورد اللغة وتحقق أداء مماثل مع النماذج الحديثة على MSCOC باستخدام نصف موارد اللغة فقط. علاوة على ذلك، تتفوق نموذجنا بشكل كبير على النماذج الحديثة على مجموعة بيانات تعليق الفيديو التي تحتوي على علامة تعليق واحدة فقط لكل إدخال في مجموعة التدريب.
تصف هذه الورقة تقديمنا للمهمة المشتركة على MT غير المنشورة ومدونة منخفضة للغاية في WMT 2021. لقد قدمنا أنظمة لأزواجين لغتان: الألمانية ↔ Sorbian العلوي (DE ↔ HSB) والصوربي الألماني السفلي (DSB).ل De ↔ HSB، نحن نتأرجح بنظامنا باستخدام كتلة (تسلسل ملثم ين للتسلسل) الهدف ثم Finetune باستخدام الترجمة الترجمة الترجمة الترجمة التكرارية.يتم تنفيذ Finetunng النهائي باستخدام البيانات المتوازية المقدمة لأهداف الترجمة.ل de ↔ DSB، لا يتم توفير بيانات متوازية في المهمة، نستخدم نموذج DEFS HSB النهائي كهيئة نموذج DSB وتدريبه على الترجمة الترجمة الترجمة المتكررة، باستخدام نفس المفردات كما هو مستخدم في de ↔ HSBنموذج.
نماذج اللغة التوليدية المدربة على كبيرة، يمكن لشركة Corga الإجابة على الأسئلة حول مرور عن طريق توليد استمرار المرجح للمقطع الذي يتبعه زوج سؤال / إجابة.ومع ذلك، تختلف معدلات الدقة اعتمادا على نوع السؤال المطروح.في هذه الورقة، نحتفظ بالمرور الثابت، واخ تبار مجموعة واسعة من أنواع الأسئلة، واستكشاف نقاط القوة والضعف في نموذج لغة GPT-3.نحن نقدم أسئلة المرور واختبارها كتحدي محدد لنماذج لغات أخرى.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا