تعتبر خلط التعليمات البرمجية ظاهرة خلط الكلمات والعبارات من لغتين أو أكثر في كلام واحد من الكلام والنص.نظرا للتنوع اللغوي العالي، يعرض خلط التعليمات البرمجية العديد من التحديات في تقييم مهام توليد اللغة الطبيعية القياسية (NLG).تعمل العديد من المقاييس
الشعبية على نطاق واسع بشكل سيء بمهام NLG المختلطة من التعليمات البرمجية.لمعالجة هذا التحدي، نقدم حصة خط أنابيب التقييم المعتمدة بشكل كبير يحسن ارتباطا كبيرا بين مقاييس التقييم والأحكام البشرية على النص المزج العام الذي تم إنشاؤه.كحالة للاستخدام، نوضح أداء الفحص على جمل Hinglish التي تم إنشاؤها بواسطة الماكينات (خلط الكود باللغات الهندية والإنجليزية) من The Hinge Corpus.يمكننا تمديد استراتيجية التقييم المقترحة إلى أزواج لغة مختلطة من التعليمات البرمجية، ومهام NLG، ومقاييس التقييم مع الحد الأدنى من أي جهد.
يعد تقييم جيل اللغة الطبيعي (NLG) مهمة متعددة الأوجه تتطلب تقييم معايير متعددة المرغوبة، على سبيل المثال، الطلاقة، والاستماس، والتغطية، والأهمية، والكفاية، والجودة الكلية، وما إلى ذلك عبر مجموعات البيانات الحالية لمدة 6 مهام NLG، نلاحظ أن درجات التقي
يم البشري في هذه المعايير المتعددة غالبا ما لا يرتبط. على سبيل المثال، هناك ارتباط منخفض للغاية بين الدرجات البشرية على تغطية الطلاقة والبيانات لمهمة البيانات المنظمة إلى جيل النص. يشير هذا إلى أن الوصفة الحالية لاقتراح مقاييس تقييم تلقائية جديدة ل NLG من خلال إظهار أنها ترتبط بشكل جيد مع الدرجات التي حددها البشر لمعايير واحدة (الجودة الشاملة) وحدها غير كافية. في الواقع، فإن دراستنا الواسعة التي تنطوي على 25 مقيط تقييم تلقائي عبر 6 مهام مختلفة و 18 معايير تقييم مختلفة تظهر أنه لا يوجد متري واحد يرتبط جيدا بدرجات بشرية على جميع المعايير المرغوبة، لمعظم مهام NLG. بالنظر إلى هذا الوضع، نقترح قوائم المراجعة لتحسين تصميم وتقييم المقاييس التلقائية. نقوم بتصميم قوالب تستهدف معايير محددة (مثل التغطية) وإشراض الإنتاج بحيث تتأثر الجودة فقط على طول هذه المعايير المحددة (على سبيل المثال، قطرات التغطية). نظهر أن مقاييس التقييم الحالية ليست قوية ضد هذه الاضطرابات البسيطة ويعارضها في الدرجات المعينة من قبل البشر إلى الإخراج المضطرب. وبالتالي فإن القوالب المقترحة تسمح بتقييم جيد المحبوس لمقاييس التقييم التلقائي تعريض قيودها وسيسهل تصميم وتحليل وتقييم أفضل لهذه المقاييس. تتوفر قوالب ورمز لدينا في https://iitmnlp.github.io/evaleval/
نحن نلاحظ قصر الإبلاغ الشديد من أنواع مختلفة من الأخطاء التي تصنعها أنظمة توليد اللغة الطبيعية.هذه مشكلة، لأن الأخطاء هي مؤشر مهم على حيث يجب تحسين الأنظمة.إذا أبلغ المؤلفون فقط إبلاغ مقاييس الأداء الإجمالية، فقد ترك مجتمع البحث في الظلام حول نقاط ال
ضعف المحددة التي تعرضها أبحاث أحدث ".بجانب تحديد مدى اختلال الأخطاء، توفر ورقة الموضع هذه توصيات لتحديد الأخطاء والتحليل والإبلاغ.
تصف هذه الورقة محاولة لإعادة إنتاج تجربة سابقة، التي أجرتها سابقا من قبل المؤلف، والتي تقارن نصوص NLG التحوط وغير المتحركة كجزء من التحدي المشترك المتصنع.كان جهد الاستنساخ هذا قادرا فقط على تكرار النتائج جزئيا من الدراسة الأصلية.يقترح المحللون من جهد
الاستنساخ هذا أنهما من الممكن تكرار الجوانب الإجرائية لدراسة سابقة، يمكن تكرار النتائج أن تكون أكثر تحديا لأن الاختلافات في نوع المشارك يمكن أن يكون لها تأثير محتمل.
نقوم بإجراء تقييم بشري في الأوراق التي تقدم العمل على توليد اللغة الطبيعية الإبداعية التي تم نشرها في INLG 2020 و ICCC 2020. أكثر طريقة التقييم البشرية النموذجية هي مسح كبير الحجم، وعادة ما تكون على نطاق 5 نقاط، في حين وجود العديد من الأساليب الأقل ش
يوعا أخرى.المعلمات الأكثر شيوعا هي معنى، صحة النحوية، الجدة والأهمية والقيمة العاطفية، من بين العديد من الآخرين.تشمل المبادئ التوجيهية الخاصة بنا للتقييم المستقبلي بوضوح هدف النظام التوليدي، وطرح أسئلة كملموسة قدر الإمكان، واختبار إعداد التقييم، باستخدام إعدادات تقييم متعددة متعددة، وإبلاغ عملية التقييم بأكملها والتحيزات المحتملة بوضوح، وأخيرا تحليل نتائج التقييم في النهايةبطريقة أكثر عمقا من إبلاغ الإحصاءات الأكثر نموذجية.
عادة ما تتطلب النهج العصبية لتوليد اللغة الطبيعية في الحوار الموجه في المهام كميات كبيرة من بيانات التدريب المشروح لتحقيق أداء مرض، خاصة عند توليد المدخلات التركيبية. لمعالجة هذه المشكلة، نظهر أن التدريب الذاتي المعزز مع فك التشفير المقيد غلة مكاسب ك
بيرة في كفاءة البيانات على مجموعة بيانات الطقس التي توظف تمثيلات المعنى المتراكم. على وجه الخصوص، تشير تجاربنا إلى أن التدريب الذاتي مع فك التشفير المقيد يمكن أن تمكن نماذج التسلسل إلى التسلسل لتحقيق جودة مرضية باستخدام بيانات أقل من خمسة إلى عشرة أضعاف بيانات أقل من خط الأساس الخاضع للإشراف العادي؛ علاوة على ذلك، من خلال الاستفادة من النماذج المحددة، يمكن زيادة كفاءة البيانات إلى خمسين مرة. نؤكد النتائج التلقائية الرئيسية مع التقييمات البشرية وإظهار أنها تمتد إلى نسخة محسنة وتركيبية من DataSet E2E. والنتيجة النهائية هي نهج يجعل من الممكن تحقيق أداء مقبول على مهام NLG التركيبية باستخدام المئات بدلا من عشرات الآلاف من عينات التدريب.
تقدم هذه الدراسة نسخة مخصبة من DataSet E2E، وهي واحدة من موارد اللغة الأكثر شعبية ل NLG البيانات إلى النص.نحن نستخلص من التمثيل الوسيط لمهام خطوط الأنابيب الشعبية مثل ترتيب الخطاب، وهيكال نصية، وتعليم التعبير وإشارة التعبير،، مما يتيح الباحثين على تط
وير وتقييم أنظمة خطوط أنابيب البيانات إلى النص بسرعة.يتم استخراج التمثيل الوسيط من خلال محاذاة التمثيلات غير اللغوية والنصية من خلال عملية تسمى Delexicalization، والتي تتألف في استبدال الإدخال بإحالة التعبيرات إلى الكيانات / السمات مع العناصر النائبة.مجموعة البيانات المخصبة متاحة للجمهور.
الحس السليم هو جزء لا يتجزأ من الإدراك البشري الذي يسمح لنا بإجراء قرارات سليمة، والتواصل بفعالية مع الآخرين وتفسير المواقف والكلام. قد تساعدنا أنظمة AI مع إمكانيات المعرفة المنطقية على الاقتراب من إنشاء أنظمة تعرض ذكاء بشري. ركزت الجهود الأخيرة في ت
وليد اللغة الطبيعية (NLG) على دمج معرفة المنظمات من خلال نماذج لغوية مدربة مسبقا واسعة النطاق أو بإدماج قواعد المعرفة الخارجية. تعرض هذه الأنظمة إمكانيات التفكير دون الشعور بالشمول المشفرة بشكل صريح في مجموعة التدريب. تتطلب هذه الأنظمة تقييم دقيق، حيث تقوم بدمج موارد إضافية أثناء التدريب التي تضيف مصادر إضافية للأخطاء. بالإضافة إلى ذلك، يمكن أن يكون للتقييم البشري لمثل هذه الأنظمة اختلافا كبيرا، مما يجعل من المستحيل مقارنة الأنظمة المختلفة وتحديد الأساس. تهدف هذه الورقة إلى إزالة الغموض عن التقييمات الإنسانية لأنظمة NLG المعززة بالعموم من خلال اقتراح بطاقة تقييم العمولة (CEC)، وهي مجموعة من توصيات تقارير التقييم لأنظمة NLG المعززة بالعموم، التي أجرتها تحليل شامل للتقييمات البشرية المبلغ عنها في الأدب الأخير وبعد
في هذا العمل، نصف جهودنا في تحسين مجموعة متنوعة من اللغات الناتجة عن نظام NLG القائم على القواعد للصحافة الآلية.نقدم اقترابين: واحد استنادا إلى إدراج كلمات جديدة تماما في جمل تم إنشاؤها من القوالب، وآخر بناء على استبدال الكلمات بالمرادفات.تشير نتائجن
ا الأولية من التقييم البشري الذي أجري باللغة الإنجليزية إلى أن هذه الأساليب تحسن بنجاح من مجموعة متنوعة من اللغة دون تعديل معنى الجملة.ونحن نقدم أيضا اختلافات في الأساليب المطبقة على لغات الموارد المنخفضة، محاكاة هنا باستخدام الفنلندية، حيث يتم تسخير شركات التفاوية المحاذاة عبر اللغات للاستفادة من الموارد اللغوية بلغة عالية الموارد.يشير التقييم البشري إلى أنه بينما تظهر الأساليب المقترحة إمكانية في حالة الموارد المنخفضة، هناك حاجة إلى عمل إضافي لتحسين أدائها.
