pimentel et al. (2020) تم تحليلها مؤخرا التحقيق من منظور نظرية المعلومات. يجادلون بأن التحقيق يجب أن ينظر إليه على أنه يقترب المعلومات المتبادلة. هذا أدى إلى الاستنتاج دون المستوى إلى حد ما أن تمثل التمثيلات نفسها بالضبط نفس المعلومات حول المهمة المس
تهدفة كجمل أصلية. ومع ذلك، فإن المعلومات المتبادلة تفترض أن توزيع الاحتمالات الحقيقي لزوج من المتغيرات العشوائية معروفة، مما يؤدي إلى نتائج دون المستوى في الإعدادات التي لا يكون فيها. تقترح هذه الورقة إطارا جديدا لقياس ما نقوم بمصطلح معلومات البايز المتبادلة، والتي تحلل المعلومات من منظور عملاء البيئة --- السماح بنتائج أكثر بديهية في السيناريوهات مع البيانات المحدودة. على سبيل المثال، تحت Bayesian MI، لدينا أن البيانات يمكن أن تضيف معلومات، ومعالجة يمكن أن تساعد، والمعلومات يمكن أن تؤذي، مما يجعلها أكثر بديهية لتطبيقات التعلم الآلي. أخيرا، نطبق إطار عملنا على التحقيق حيث نعتقد أن المعلومات المتبادلة بايزي تعمل بشكل طبيعي بسهولة سهولة الاستخراج من خلال الحد الصريح لمعرفة الخلفية المتاحة لحل المهمة.
تفسير محتمل للأداء المثير للإعجاب في ما قبل التدريب اللغوي المصنوع (MLM) هو أن هذه النماذج تعلمت أن تمثل الهياكل النحوية السائدة في خطوط أنابيب NLP الكلاسيكية. في هذه الورقة، نقترح شرحا مختلفا: تنجح MLMS على مهام المصب بالكامل تقريبا بسبب قدرتها على
نموذج إحصاءات حدوث كلمة ترتيب أعلى. لإظهار ذلك، نقوم بتدريب MLMS مسبقا على الجمل مع ترتيب كلمة خلط عشوائيا، وإظهار أن هذه النماذج لا تزال تحقق دقة عالية بعد ضبطها على العديد من المهام المصب --- بما في ذلك المهام المصممة خصيصا لتكون صعبة للنماذج التي تتجاهل ترتيب الكلمات وبعد تؤدي نماذجنا بشكل جيد بشكل مدهش وفقا لبعض تحقيقات النحوية ذات الصلة، مما يشير إلى أوجه القصور المحتملة في كيفية اختبار تمثيلات للحصول على معلومات النحوية. بشكل عام، تظهر نتائجنا أن المعلومات التوزيعية البحتة تشرح إلى حد كبير نجاح ما قبل التدريب، وتؤكد أهمية إعانة مجموعات بيانات التقييم الصعبة التي تتطلب معرفة لغوية أعمق.
