تقييم الاعتراف بطرق استلام الأسئلة لنظام الإجابة على السؤال البرتغالية حول مرض السكري

تصف هذه الدراسة تطوير سؤال مجتمعي برتغالي يرد على معيار في مجال ميليتوس السكري باستخدام نهج إيصال الأسئلة المعترف به (RQE). بالنظر إلى سؤال الفرضية، يهدف RQE إلى استرداد أسئلة متشابهة دلالة الشكل، أجاب بالفعل على أرشفة. إننا نبني كوربا رئيسيا باللغة البرتغالية مع 785 زوجا بين أسئلة الفرضية وأرشفة الأسئلة الإجابة تميزت بأحكام الأهمية من قبل خبراء طبيين. استنادا إلى Corpus القياسي، فإننا نستفيد وتقييم العديد من نهج RQE تتراوح من أساليب استرجاع المعلومات التقليدية إلى نماذج اللغة الكبيرة المدربة مسبقا وتقنيات الفرقة باستخدام مناهج التعلم إلى رتبة. تظهر نتائجنا التجريبية أن الأسلوب الإشراف على المحولات المدربين مدربا بلغات متعددة ومهام متعددة (موسى) يتفوق على البدائل. تظهر نتائجنا أيضا أن فروع الأساليب (التراص) بالإضافة إلى طريقة استرجاع المعلومات (الضوء) التقليدية (BM25) يمكن أن تنتج نتائج تنافسية. أخيرا، من بين الاستراتيجيات التي تم اختبارها، فإن أولئك الذين يستغلون سوى السؤال (وليس الإجابة)، وتقديم أفضل مفاضلة كفاءة الفعالية. الرمز متاح علنا.

This study describes the development of a Portuguese Community-Question Answering benchmark in the domain of Diabetes Mellitus using a Recognizing Question Entailment (RQE) approach. Given a premise question, RQE aims to retrieve semantically similar, already answered, archived questions. We build a new Portuguese benchmark corpus with 785 pairs between premise questions and archived answered questions marked with relevance judgments by medical experts. Based on the benchmark corpus, we leveraged and evaluated several RQE approaches ranging from traditional information retrieval methods to novel large pre-trained language models and ensemble techniques using learn-to-rank approaches. Our experimental results show that a supervised transformer-based method trained with multiple languages and for multiple tasks (MUSE) outperforms the alternatives. Our results also show that ensembles of methods (stacking) as well as a traditional (light) information retrieval method (BM25) can produce competitive results. Finally, among the tested strategies, those that exploit only the question (not the answer), provide the best effectiveness-efficiency trade-off. Code is publicly available.