إن فهم متانة وحساسية نماذج بيرت التي تتنبأ بمرض الزهايمر من النص أمر مهم لكلا نماذج تصنيف أفضل وفهم قدراتها وقيودها.في هذه الورقة، نقوم بتحليل كيفية تأثير كمية خاضعة للرقابة من التعديلات المرجوة وغير المرغوبة التي تؤثر على أداء بيرت.نظهر أن بيرت قوية للتغيرات اللغوية الطبيعية في النص.من ناحية أخرى، نظهر أن بيرت ليست حساسة لإزالة المعلومات المهمة سريريا من النص.
Understanding robustness and sensitivity of BERT models predicting Alzheimer's disease from text is important for both developing better classification models and for understanding their capabilities and limitations. In this paper, we analyze how a controlled amount of desired and undesired text alterations impacts performance of BERT. We show that BERT is robust to natural linguistic variations in text. On the other hand, we show that BERT is not sensitive to removing clinically important information from text.
المراجع المستخدمة
https://aclanthology.org/
يرتبط مرض الزهايمر (الإعلان) بالعديد من التغييرات المميزة، ليس فقط في لغة الفرد ولكن أيضا في أنماط تفاعلية لاحظت في الحوار. تميل التغييرات الأكثر إرشادية لهذا النوع الأخير إلى أن تكون مرتبطة بأعمال الحوار النادرة نسبيا (DAS)، مثل المشاركين في التبادل
تستفيد نماذج اللغة الكبيرة من التدريب بكمية كبيرة من النص غير المسبق، مما يمنحهم قدرات توليد بطلاقة ومتنوعة بشكل متزايد.ومع ذلك، فإن استخدام هذه النماذج لتوليد النص الذي يأخذ في الاعتبار السمات المستهدفة، مثل قطبية المعالم أو مواضيع محددة، لا يزال يم
تحظى طرازات اللغة واسعة النطاق (LMS) في كورسورا هائلة من النص، مثل GPT-2، هي مولدات نصية مفتوحة قوية. ومع ذلك، نظرا لأن الفحص المنهجي الخاص بنا يكشف، فمن لا يزال يمثل تحديا لهذه النماذج لتوليد ممرات طويلة طويلة متماسكة من النص (على سبيل المثال، 1000
نماذج اللغة واسعة النطاق مثل GPT-3 هي متعلمين بقلة قليلة، مما يتيح لهم السيطرة عليها عبر مطالبات النص الطبيعي. أبلغ الدراسات الحديثة أن التصنيف المباشر الفوري يزيل الحاجة إلى ضبط الدقيقة ولكن يفتقر إلى إمكانية التوسع للبيانات والاستدلال. تقترح هذه ال
عادة ما يتم تدريب نماذج اللغات الحالية على استخدام مخطط للإشراف على الذات، حيث يركز التركيز الرئيسي على التعلم في كلمة البرنامج أو مستوى الجملة.ومع ذلك، كان هناك تقدم محدود في توليد تمثيلات مفيدة على مستوى الخطاب.في هذا العمل، نقترح استخدام الأفكار م