أظهرت المحولات أداء محسنة عند مقارنتها بالبنية السابقة لمعالجة التسلسل مثل RNNS.على الرغم من مكاسب أدائها الكبيرة، كما اقترح مؤخرا، فإن النموذج باهظ الثمن بشكل حسابي للتدريب ومع ميزانية معلمة عالية.في ضوء هذا، نستكشف أساليب تقاسم المعلمات في المحولات
بتركيز محدد على النماذج الإدارية.نحن نقوم بإجراء تحليل لأساليب تقاسم / تخفيض المعلمات المختلفة وتطوير النموذج الفرعي.يجمع نموذجنا بين مشاركة المعلمات على غرار ساندويتش، مما يتغلب على مشاركة المعلمة الساذجة عبر الطبقات في نماذج توليدية، وتعامل التضمين الذاتي الذاتي (آمن).تشير التجارب على الترجمة الآلية، وإظهار التلخيص المبشور ونمذجة اللغة أن العنصر الفرعي يمكن أن يتفوق على المحول حتى عند استخدام المعلمات أقل بكثير.
يركز استخراج علاقات قليلة (FSRE) على الاعتراف بعلاقات جديدة من خلال التعلم مع مجرد حفنة من الحالات المشروح.تم اعتماد التعلم التلوي على نطاق واسع لمثل هذه المهمة، والتي تتدرب على إنشاء مهام قليلة من الرصاص بشكل عشوائي لتعلم تمثيلات بيانات عامة.على الر
غم من النتائج المثيرة للإعجاب التي تحققت، لا تزال النماذج الحالية تؤدي دون التفاادم عند التعامل مع مهام FSRE الثابتة، حيث تكون العلاقات محببة ومتشابهة لبعضها البعض.نقول هذا إلى حد كبير لأن النماذج الحالية لا تميز المهام الثابتة من سهلة في عملية التعلم.في هذه الورقة، نقدم نهجا جديدا يعتمد على التعلم المتعاقل الذي يتعلم تمثيلات أفضل من خلال استغلال معلومات الملصقات العلاقة.نحن أيضا تصميم طريقة تسمح للنموذج بتعلم تكيف كيفية التركيز على المهام الثابتة.تجارب على مجموعة بيانات قياسية توضح فعالية طريقتنا.
تم حل معايير المنطق المنطقي إلى حد كبير عن طريق نماذج لغة ضبط دقيقة. الجانب السلبي هو أن الضبط الدقيق قد يتسبب في طرح نماذج إلى البيانات الخاصة بمهام المهام وبالتالي انسوا معرفتهم المكتسبة خلال التدريب المسبق. تعمل الأعمال الحديثة فقط على اقتراح تحدي
ثات نموذجية خفيفة الوزن حيث قد تمتلك النماذج بالفعل معرفة مفيدة من الخبرة السابقة، لكن التحدي لا يزال في فهم الأجزاء وإلى أي مدى يجب أن يتم تنقيح النماذج بمهمة معينة. في هذه الورقة، نقوم بالتحقيق في نماذج تتعلم من مجموعات بيانات منطق المنطقية. نقيس تأثير ثلاث طرق تكييف مختلفة عن تعميم ودقة النماذج. تظهر تجاربنا مع نماذجين أن الضبط الدقيق يؤدي بشكل أفضل، من خلال تعلم كل من المحتوى والهيكل المهمة، ولكنه يعاني من التجمع المحدود والمحدود لإجابات جديدة. نلاحظ أن طرق التكيف البديلة مثل ضبط البادئة لها دقة قابلة للمقارنة، ولكن تعميم أفضل من الإجابات غير المرئية وهي أكثر قوة لانشقاقات الخصومة.
على الرغم من إظهار قيم واعدة للتطبيقات المصب، فإن توليد السؤال والإجابة معا يتم استكشافها. في هذه الورقة، نقدم مهمة جديدة تستهدف توليد زوج الإجابة على الأسئلة من الصور المرئية. لا يتطلب عدم توليد أزواج حول الإجابات المتنوعة فقط ولكن أيضا الحفاظ على ا
لاتساق منهم. نحن ندرس نماذج جيل مختلفة لهذه المهمة واقتراح ثلاث نماذج: نموذج خط الأنابيب، النموذج المشترك، النموذج المتسلسل. نحن ندمج الاستدلال الاختلافي في هذه النماذج لتحقيق التنوع والاتساق. ونحن نقترح أيضا تقدير تمثيل المنطقة ومحاذاة الاهتمام لتحسين الاتساق أكثر. ونحن أخيرا وضع مقيم كقيط كمي للاتساق. نحن نقوم بالتحقق من نهجنا على معيارين، VQA2.0 و Visual-7W، من خلال تقييم التنوع والاتساق يدويا يدويا. تظهر النتائج التجريبية فعالية نماذجنا: يمكن أن تولد أزواج متنوعة أو متسقة. علاوة على ذلك، يمكن استخدام هذه المهمة لتحسين جيل السؤال المرئي والإجابة على السؤال المرئي.
تستكشف هذه الورقة تأثير استخدام التعلم المتعدد التواجد لتلخيص الجماع في سياق كورسا التدريب الصغيرة.على وجه الخصوص، نحن ندمج أربع مهام مختلفة (تلخيص استخراجي، ونمذجة اللغة، والكشف عن المفهوم، والكشف عن الصياغة على حد سواء بشكل فردي ومزيج، بهدف تعزيز ا
لمهمة المستهدفة المتمثلة في تلخيص الجماع عبر التعلم المتعدد.نظرا لأنه بالنسبة للعديد من مجموعات المهام، فإن نموذج مدرب في إعداد متعدد الأيتاكف يتفوق على نموذج مدرب فقط في تلخيص الجماع، مع عدم تقديم بيانات تلخيص إضافية.بالإضافة إلى ذلك، نقوم بعمل بحث شامل والعثور على أن بعض المهام (E.G. الكشف عن الصياغة) تستفيد باستمرار تلخيص الجماعي، ليس فقط عند الجمع مع المهام الأخرى ولكن أيضا عند استخدام بهيئات مختلفة وتدريب كورسا.
استخراج الأحداث على مستوى المستند أمر بالغ الأهمية لمختلف مهام معالجة اللغة الطبيعية لتوفير معلومات منظمة.النهج الحالية عن طريق النمذجة المتسلسلة إهمال الهياكل المنطقية المعقدة للنصوص الطويلة.في هذه الورقة، نستفيد بين تفاعلات الكيان وتفاعلات الجملة خ
لال المستندات الطويلة وتحويل كل وثيقة إلى رسم بياني غير مرمى غير مسبهب من خلال استغلال العلاقة بين الجمل.نقدم مجتمع الجملة لتمثيل كل حدث كشركة فرعية.علاوة على ذلك.توضح التجارب أن إطارنا يحقق نتائج تنافسية على الأساليب الحديثة على مجموعة بيانات استخراج الأحداث على مستوى الوثيقة على نطاق واسع.
أثناء النظر في الأوقات الطبيعية في وثائق الأمن الغذائي، وجدنا أن التعليق التوضيحي التركيبي للتوسع في الوقت نفسه يتطلب العديد من التعليقات التوضيحية شبه المكررة للحصول على الدلالات الصحيحة للتعبيرات مثل 7 نوفمبر إلى 11 2021. للحد من هذه المشكلة، نحناس
تكشاف استبدال الممتلكات الفاصل الفرعية للخضار بممتلكات فاصلة فاصلة فاخرة، وهذا هو، مما يجعل أصغر الوحدات (على سبيل المثال، 7 و 11 عاما بدلا من أكبر الوحدات (على سبيل المثال، 2021) رؤساء سلاسل التقاطع.لضمان ظل دلالات الفواصل الزمنية المشروحة دون تغيير على الرغم من تغييراتنا في بناء جملة مخطط التوضيحية، طبقنا العديد من التقنيات المختلفة للتحقق من صحة تغييراتنا.تم اكتشاف تقنيات التحقق من الصحة هذه وسمحتنا بحل العديد من الأخطاء المهمة في الترجمة الآلية لدينا من الفاصل الفرعي إلى بناء جملة فائق الفاصل الزمني.
كان هناك طلب متزايد لتطوير أنظمة التدريب اللغوية بمساعدة الكمبيوتر (النقص)، والتي يمكن أن توفر ملاحظات حول سوء الأخطاء وتسهيل المتعلمين اللغة الثانية (L2) لتحسين إجادتها الناطقة من خلال الممارسة المتكررة. نظرا لنقص الكلام غير الأصلي لتدريب الوحدة الن
مطية للتعرف على الكلام التلقائي (ASR) من نظام النقيب، فإن أداء الكشف عن الأخطاء السخطية المقابلة غالبا ما يتأثر بشكل غالبا بواسطة unffect ASR. وإذ تدرك هذه الأهمية، فإننا في هذه الورقة طرحت طريقة اكتشاف أخطاء أخطاء في مرحلتين. في المرحلة الأولى، تتم معالجة الخطاب الذي ينطقه متعلم L2 من خلال وحدة ASR المناسبة لإنتاج فرضيات تسلسل الهاتف N-Best. في المرحلة الثانية، يتم تغذية هذه الفرضيات في نموذج النطق الذي يسعى إلى التنبؤ بأمانة بفرض رسوم تسلسل الهاتف الذي هو على الأرجح واضحا من قبل المتعلم، وذلك لتحسين أداء اكتشاف أخطاء أخطاء. أجرت التجارب التجريبية مجموعة بيانات قياسية باللغة الإنجليزية تأكيد فائدة طريقتنا.
نبلغ عن التجارب في تبسيط النص التلقائي (ATS) للألمانية مع مستويات تبسيط متعددة على طول الإطار الأوروبي المشترك المرجعي لغات (CEFR)، وتبسيط اللغة الألمانية القياسية إلى مستويات A1 و A2 و B1.لهذا الغرض، نحقق في استخدام تسميات المصدر وإحاطاء اللغة الألم
انية القياسية، مما يسمح لنا بتبسيط اللغة القياسية إلى مستوى CEFR محدد.نظرا لأن هذه الأساليب فعالة بشكل خاص في سيناريوهات الموارد المنخفضة، حيث يمكننا أن نتفوق على خط الأساس المحول القياسي.علاوة على ذلك، نقدم نسخ ملصقات، والتي نظهرها يمكن أن تساعد النموذج في إجراء تمييز بين الجمل التي تتطلب مزيدا من التعديلات والجمل التي يمكن نسخها كما هو.
توضح هذه الورقة تقديم فريق LCP-RIT إلى مهمة Semeval-2021 1: تنبؤ التعقيد المعجمي (LCP).قدم منظمو المهام للمشاركين نسخة معدية من المعقد (Shardlow et al.، 2020)، ومجموعة بيانات إنجليزية متعددة المجالات التي تم تفاحها الكلمات في السياق فيما يتعلق بعقوده
ا باستخدام مقياس ليكرت خمس نقاط.يستخدم نظامنا الانحدار اللوجستي والمجموعة واسعة من الميزات اللغوية (على سبيل المثالنقوم بتحليل تأثير الميزات اللغوية المختلفة على أداء التصنيف ونقوم بتقييم النتائج من حيث الخطأ المطلق، ويعني الخطأ التربيعي، وارتباط بيرسون، وارتباط سبيرمان.
