ترغب بنشر مسار تعليمي؟ اضغط هنا

مباريات التشابه الفقرة لتوليد عناصر اختبار متعددة الخيارات

Paragraph Similarity Matches for Generating Multiple-choice Test Items

281   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

تستخدم أسئلة متعددة الخيارات (MCQs) على نطاق واسع في تقييم المعرفة في المؤسسات التعليمية، أثناء مقابلات العمل، في الاختبارات الترفيهية والألعاب.على الرغم من أن البحث عن الجيل التلقائي أو شبه التلقائي من عناصر اختبار متعددة الخيارات قد أجريت منذ بداية هذه الألفية، تركز معظم الأساليب على توليد الأسئلة من جملة واحدة.في هذا البحث، يتم تقديم طريقة حديثة لإنشاء أسئلة بناء على جمل متعددة.كانت مستوحاة من مطابقات التشابه الدلالي المستخدمة في مكون ذاكرة الترجمة من أنظمة إدارة الترجمة.يتم مقارنة أداء اثنين من خوارزميات التعلم العميق، Doc2vec و Sbert، مهمة التشابه الفقرة.يتم إجراء التجارب على Corpus AD-HOC داخل مجال الاتحاد الأوروبي.للتقييم التلقائي، تم تجميع كائن أصغر من فقرات مطابقة مختارة يدويا.النتائج تثبت الأداء الجيد ل Argeddings الجملة للمهمة المحددة.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

من الصعب تقييم نماذج اللغة.ونحن نفرج عن Supersim، ومجموعة تشابه ورابطات متعلقة على نطاق واسع في السويدية التي بنيت أحكاما بشرية خبراء.يتكون مجموعة الاختبار من 1،360 كلمة أزواج يحكمها بشكل مستقل لكل من الرصيد والتشابه بمقدار خمسة Annotators.نقوم بتقيي م ثلاث نماذج مختلفة (Word2VEC، FastText، والقفازات) المدربين على مجموعة بيانات سويدية منفصلة، وهي كوربوس Gigaword السويدية وتفريغ ويكيبيديا السويدية، لتوفير خط أساس للمقارنة في المستقبل.سنقوم بتصدر مجموعة الاختبارات المشروحة بالكامل والنماذج والنماذج والبيانات.
يتطلب إجابة السؤال المستندة إلى السيناريو (SQA) على استرداد وقراءة الفقرات من كوربوس كبيرة للإجابة على سؤال محكوم بموجب وصف سيناريو طويل.نظرا لأن السيناريو يحتوي على كلا القصاصات الاسترجاع والكثير من الضوضاء، فإن استرجاع SQA صعب للغاية.علاوة على ذلك، بالكاد يمكن أن يشرف عليه بسبب عدم وجود ملصقات ذات صلة من الفقرات ل SQA.لتلبية التحدي، في هذه الورقة نقترح نموذج قارئ مسترجع مشترك يسمى Jeeves حيث يتم الإشراف على المسترد الضمني فقط باستخدام ملصقات ضمان الجودة عبر آلية ترجيح كلمة جديدة.يتفوق Jeeves بشكل كبير على مجموعة متنوعة من خطوط الأساس القوية على أسئلة متعددة الخيارات في ثلاث مجموعات بيانات SQA.
آلة قراءة الآلة (MRC)، والتي تتطلب آلة للإجابة على الأسئلة التي تعطى المستندات ذات الصلة، هي طريقة مهمة لاختبار قدرة الآلات على فهم اللغة البشرية.تعد MRC متعددة الخيارات واحدة من أكثر المهام التي تمت دراستها في MRC نظرا لراحة التقييم ومرونة تنسيق الإ جابة.تهدف تفسير ما بعد الهوك إلى شرح نموذج مدرب ويكشف عن كيفية وصول النموذج إلى التنبؤ.واحدة من أهم أشكال التفسير هي أن نسأل قرارات النموذج إلى ميزات المدخلات.بناء على طرق الترجمة الفورية لما بعد الهوك، نقوم بتقييم دعاسة الفقرات في MRC متعددة الخيارات وتحسين النموذج من خلال معاقبة السموم غير المنطقية.يمكن لطريقتنا تحسين أداء النموذج دون أي معلومات خارجية وتغيير هيكل النموذج.علاوة على ذلك، فإننا نحلل أيضا كيف ولماذا تعمل طريقة التدريب الذاتي.
البحث عن وثائق قانونية هي مهمة متخصصة لاسترجاع المعلومات ذات الصلة لمستخدمي الخبراء (المحامين ومساعدتهم) وللمستخدمين غير الخبراء. من خلال البحث في قرارات المحكمة السابقة (الحالات)، يمكن للمستخدم إعداد التفكير القانوني بشكل أفضل من حالة جديدة. القدرة على البحث باستخدام تقطيع نص لغة طبيعية بدلا من استعلام مزيد من الاستعلام الاصطناعي قد يساعد في منع مشكلات صياغة الاستعلام. أيضا، إذا كان التشابه الدلالي قد يكون على غرار المطابقات المعجمية الدقيقة، فيمكن العثور على نتائج أكثر صلة حتى لو كانت شروط الاستعلام لا تتطابق تماما. بالنسبة لهذا المجال، صاغنا مهمة لمقارنة الطرق المختلفة لنمذجة التشابه الدلالي على مستوى الفقرة، باستخدام النظم العصبية وغير العصبية. قارنا أنظمة تشفير الاستعلام وفقرات مجموعة البحث كمنتجات، مما يتيح استخدام تشابه التجميل لتحقيق تصنيف النتائج. بعد بناء مجموعة بيانات ألمانية للحالات والنظام الأساسي من سويسرا، واستخراج الاستشهادات من الحالات إلى النظام الأساسي، قمنا بتطوير خوارزمية لتقدير التشابه الدلالي على مستوى الفقرة، باستخدام طريقة التشابه القائمة على الرابط. عند تقييم الأنظمة المختلفة بهذه الطريقة، نجد أن النمذجة الدلالية التشابه بواسطة النظم العصبية يمكن أن يتم تعزيز قناع اهتمام ممتد يروي الضوضاء في المدخلات.
الابتكار البشري في اللغة، مثل اختراع كلمات جديدة، هو تحد لنماذج اللغة المحددة مسبقا.نقوم بتقييم قدرة نموذج واحد كبير، GPT-3، لمعالجة الكلمات الجديدة وتحديد معناها.نقوم بإنشاء مجموعة من الكلمات غير المعنية و GPT-3 المزاج لتوليد تعريفات القاموس الخاصة بهم.نجد GPT-3 تنتج تعريفات معقولة تتماشى مع الأحكام الإنسانية.علاوة على ذلك، يتم تفضيل تعريفات GPT-3 في بعض الأحيان لأولئك الذين اخترعهم البشر، مما يشير إلى قدرتها الفائولة على التكيف فقط، ولكن للإضافة إلى المفردات المتطورة للغة الإنجليزية.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا