اكتشاف أساسيات نموذج أفضل لفهم الاستعلام الطبي

في تطوير نظام لإجواب الأسئلة عبر الإنترنت للنطاقات الطبية، تلعب نماذج الاستدلال باللغة الطبيعية (NLI) دورا رئيسيا في مطابقة الأسئلة والكشف عن النية.ومع ذلك، ما هي النماذج هي الأفضل لمجموعات البيانات لدينا؟اختيار أو ضبط نموذج يدويا هو تستغرق وقتا طويلا.وبالتالي، نقوم بتجربة تحسين هياكل النموذج تلقائيا على المهمة في متناول اليد عبر بحث العمارة العصبية (NAS).أولا، نقوم بصياغة مساحة بحث عن الهندسة المعمارية الجديدة تعتمد على أدب NAS السابق، ودعم النمذجة الانتباه عبر الجملة (Cross-Attn).ثانيا، نقترح تعديل طريقة ENAS لتسريع وتحقيق الاستقرار في نتائج البحث.نقوم بإجراء تجارب واسعة النطاق على مهامنا NLI الطبية.تظهر النتائج أن نظامنا يمكن أن يتفوق بسهولة على نماذج الأساس الكلاسيكية.نقارن أساليب NAS المختلفة وإظهار نهجنا يوفر أفضل النتائج.

In developing an online question-answering system for the medical domains, natural language inference (NLI) models play a central role in question matching and intention detection. However, which models are best for our datasets? Manually selecting or tuning a model is time-consuming. Thus we experiment with automatically optimizing the model architectures on the task at hand via neural architecture search (NAS). First, we formulate a novel architecture search space based on the previous NAS literature, supporting cross-sentence attention (cross-attn) modeling. Second, we propose to modify the ENAS method to accelerate and stabilize the search results. We conduct extensive experiments on our two medical NLI tasks. Results show that our system can easily outperform the classical baseline models. We compare different NAS methods and demonstrate our approach provides the best results.