في الآونة الأخيرة، حقق نموذج لغوي كبير مدرب مسبقا يسمى T5 (محول نقل النصوص الموحد للنصوص) أداء حديثة في العديد من مهام NLP.ومع ذلك، لم يتم العثور على أي دراسة باستخدام هذا النموذج المدرب مسبقا على تبسيط النص.لذلك في هذه الورقة، نستكشف استخدام T5 Bric
k-Tuning على تبسيط النص الجمع بين آلية يمكن التحكم فيها لتنظيم مخرجات النظام التي يمكن أن تساعد في إنشاء نص مكيفات للجماهير المستهدفة المختلفة.تبين تجاربنا أن نموذجنا يحقق نتائج رائعة مع مكاسب بين +0.69 و +1.41 عبر أحدث الولاية الحالية (بارت + الوصول).نقول أن استخدام نموذج مدرب مسبقا مثل T5، المدربين على عدة مهام مع كميات كبيرة من البيانات، يمكن أن يساعد في تحسين تبسيط النص.
تصف هذه الورقة Simplener، وهو نموذج تم تطويره لمهمة تبسيط الجملة في GEM-2021.نظامنا عبارة عن بنية محولات SEQ2SEQ أحادية مونولجة تستخدم الرموز المراقبة معلقة مسبقا إلى البيانات، مما يسمح للنموذج بتشكيل التبسيط الذي تم إنشاؤه وفقا للسمات التي تريدها ال
مستخدم.بالإضافة إلى ذلك، نظهر أن البيانات التدريبية NER - بيانات التدريب قبل الاستخدام يساعد على تثبيت تأثير الرموز السيطرة وتحسين الأداء العام للنظام بشكل كبير.ونحن نوظف أيضا embeddings المسبق للحد من البيانات الخاصة بالبيانات والسماح للنموذج بإنتاج المزيد من النواتج القابلة للتعميم.
