المساهمة الرئيسية لهذه الورقة هي نماذج اللغات القائمة على Tune-Tune - مدربة مسبقا على العديد من النصوص، وبعضها عام (على سبيل المثال، ويكيبيديا، bookscorpus)، وبعضها يجري شركة DataSet المعقدة، والبعض الآخر يجريمن مجالات محددة أخرى مثل التمويل والقانون
، إلخ. نقوم بإجراء دراسات الاجتثاث حول اختيار طرازات المحولات وكيف يتم تجميع درجات تعقيدها الفردية للحصول على درجات التعقيد الناتجة.لدينا طريقة تحقق أفضل ارتباط بيرنسي ب 0.784 في المهمة الفرعية 1 (كلمة واحدة) و 0.836 في المهمة الفرعية 2 (تعبيرات كلمات متعددة).
تصف هذه الورقة نظام مقدم من فريق Biggreen إلى LCP 2021 للتنبؤ بالتعقيد المعجمي للكلمات الإنجليزية في سياق معين.نحن نكرب نموذجا يعتمد على الهندسة مع نموذج شبكة عصبي عميق تأسست على بيرتف.بينما ينفذ بيرت نفسها بشكل تنافسي، فإن نموذجنا القائم على الهندسة
يساعد في الحالات القصوى، على سبيل المثال.فصل حالات الصعوبة السهلة والمحايدة.تضم ميزاتنا المصنوعة يدويا اتساعا من التدابير الصوفية المعجمية والدلية والمعنية والرواية.تقدم تصورات خرائط بيرت اهتماما نظرة ثاقبة للميزات المحتملة التي قد تتعلمها نماذج المحولات عند ضبطها من أجل تنبؤ التعقيد المعجمي.تنقيح تنبؤاتنا المعقولة بشكل معقول بالنسبة للكلمة الفرعية الواحدة، ونظهر كيف يمكن تسخيرها لأداء الاستاحا الفرعي للتعبير المتعدد الآن.
