نحن نحلل كيف يتعلم نموذج اللغة القائم على المحولات قواعد الشطرنج من البيانات النصية للألعاب المسجلة.نوضح كيف يمكن البحث عن كيفية القدرة النموذجية والعدد المتاح لبيانات التدريب التي تؤثر على نجاح تعلم نموذج اللغة بمساعدة مقاييس الشطرنج الخاصة.مع هذه ا
لمقاييس، نوضح أن المزيد من الألعاب المستخدمة للتدريب في النطاق المستخدمة تقدم نتائج أفضل بكثير لنفس وقت التدريب.ومع ذلك، فإن حجم النموذج لا يظهر مثل هذا التأثير الواضح.من المثير للاهتمام أيضا أن نلاحظ أن مقاييس التقييم المعتادة لنماذج اللغة، ودقة التنبؤية والحيرة، لا تعطي أي إشارة إلى هذا هنا.يكشف فحص المزيد من النماذج المدربة عن كيفية تخزين المعلومات حول حالة المجلس في تفعيلات مجموعات الخلايا العصبية، وكيف تؤثر التسلسل العام للحركات السابقة على التحركات التي تم إنشاؤها حديثا.
