التحقيق عبر الوقت: ماذا يعرف روبرتا ومتى؟

لقد أظهرت نماذج اللغة المدربة على كورسا كبيرة جدا مفيدة لمعالجة اللغة الطبيعية. كأداة أثرية ثابتة، أصبحوا موضوعا للدراسة المكثفة، حيث يحكم العديد من الباحثين "مدى الحصول عليها والذي يثبت بسهولة التجريد اللغوي ومعرفة الواقعية والعمومية وقدرات التفكير. تطبيق العمل الحديث عدة تحقيقات مراحل التدريب المتوسطة لمراقبة العملية التنموية للنموذج الواسع النطاق (شيانغ وآخرون، 2020). بعد هذا الجهد، نجيب بشكل منهجي على سؤال: لأنواع مختلفة من المعرفة يتعلم نموذج اللغة، عند التدريب أثناء (قبل) هل تم الحصول عليها؟ باستخدام روبرتا كدراسة حالة، نجد: يتم الحصول على المعرفة اللغوية بسرعة، ثابتة، قوية عبر المجالات. الحقائق والعموم أبطأ وأكثر حساسية للنطاق. القدرات المنطقية هي، بشكل عام، لا تكتسب بشكل ثابت. كشركات بيانات جديدة، بروتوكولات محدبة، بروتوكولات وبروتوكولات وإثبات تظهر، نعتقد أن التحليلات الواردة في الوقت المحدد يمكن أن تساعد الباحثين على فهم التعلم المعقدة والخيول أن هذه النماذج تخضع لنا وتوجيهنا نحو نهج أكثر كفاءة التي تحقق التعلم اللازم بشكل أسرع.

Models of language trained on very large corpora have been demonstrated useful for natural language processing. As fixed artifacts, they have become the object of intense study, with many researchers probing'' the extent to which they acquire and readily demonstrate linguistic abstractions, factual and commonsense knowledge, and reasoning abilities. Recent work applied several probes to intermediate training stages to observe the developmental process of a large-scale model (Chiang et al., 2020). Following this effort, we systematically answer a question: for various types of knowledge a language model learns, when during (pre)training are they acquired? Using RoBERTa as a case study, we find: linguistic knowledge is acquired fast, stably, and robustly across domains. Facts and commonsense are slower and more domain-sensitive. Reasoning abilities are, in general, not stably acquired. As new datasets, pretraining protocols, and probes emerge, we believe that probing-across-time analyses can help researchers understand the complex, intermingled learning that these models undergo and guide us toward more efficient approaches that accomplish necessary learning faster.