غالبا ما يتم تقييم نماذج اللغة المستخدمة في التعرف على الكلام بشكل جوهري باستخدام حيرة في بيانات الاختبار أو غير مسبوق مع نظام التعرف على الكلام التلقائي (ASR). لا يرتبط التقييم السابق دائما بشكل جيد مع أداء ASR، في حين أن الأخير يمكن أن يكون محددا ل
أنظمة ASR معينة. اقترح العمل الحديث لتقييم نماذج اللغة باستخدامها لتصنيف جمل الحقيقة الأرضية بين جمل مماثلة للالعناد الصوتي الناتج عن محول الدولة الدقيقة. مثل هذا التقييم هو افتراض أن الجمل التي تم إنشاؤها غير صحيحة لغويا. في هذه الورقة، وضعنا أولا هذا الافتراض موضع السؤال، ومراقبة أن الجمل التي تم إنشاؤها بدلا من ذلك قد تكون صحيحة في كثير من الأحيان لغويا عندما تختلف عن الحقيقة الأرضية بواسطة تحرير واحد فقط. ثانيا، أظهرنا أنه باستخدام بيرت متعددة اللغات، يمكننا تحقيق أداء أفضل من العمل السابق على مجموعات بيانات تبديل التعليمات البرمجية. تطبيقنا متاح علنا على Github في https://github.com/sikfeng/language-modelling-for-code-Switching.
نحن نقيم استخدام مهام التقييم المباشر الواسعة للكلمة المباشرة للغة المتخصصة.دراسة علمنا هي النص الفلسفي: يتم إخراج أحكام الخبراء البشري على رابط المصطلحات الفلسفية باستخدام مهمة اكتشاف مرادف ومهمة الاتساق.بشكل فريد لمهامنا، يجب على الخبراء الاعتماد ع
لى معرفة واضحة ولا يمكنهم استخدام الحدس اللغوي، والتي قد تختلف عن ذلك من الفيلسوف.نجد أن معدلات الاتفاق المشترك بين الخصوصية تشبه تلك المهام التوضيحية الدلالية التقليدية، مما يشير إلى أن هذه المهام يمكن استخدامها لتقييم Word Admingdings من أنواع النصوص التي قد لا تكفي المعرفة الضمنية.
مجردة أن هذه الدراسة تنفذ تقييم جوهري منهجي للتمثيل الدلالي الذي تعلمته المحولات متعددة الوسائط المدربة مسبقا. يزعم هذه التمثيلات أنها غير ملائمة للمهمة وأظهرت للمساعدة في العديد من مهام اللغة والرؤية المصب. ومع ذلك، فإن المدى الذي يتماشى فيه مع الحد
س الدلالي البشري لا يزال غير واضح. نقوم بتجربة نماذج مختلفة والحصول على تمثيلات كلمة ثابتة من تلك السياق التي يتعلمونها. ثم قمنا بتقييمها ضد الأحكام الدلالية التي قدمها مكبرات الصوت البشرية. تمشيا مع الأدلة السابقة، نلاحظ ميزة معممة للتمثيلات متعددة الوسائط على اللغات فقط على أزواج كلمة ملموسة، ولكن ليس على تلك المجردة. من ناحية، يؤكد ذلك فعالية هذه النماذج لمحاذاة اللغة والرؤية، مما يؤدي إلى تحسين تمثيلات الدلالية للمفاهيم التي ترتكز في الصور. من ناحية أخرى، تبين أن النماذج تتبع أنماط تعليم التمثيل المختلفة، والتي سفي بعض الضوء على كيفية وعند تنفيذ تكامل متعدد الوسائط.
