أدت نماذج اللغة مثل GPT-2 بشكل جيد على إنشاء جمل سليمة نصنية لمهام إكمال تلقائي للنصوص.ومع ذلك، غالبا ما تتطلب هذه النماذج جهدا تدريبيا كبيرا للتكيف مع مجالات الكتابة المحددة (على سبيل المثال، الطبية).في هذه الورقة، نقترح استراتيجية تدريبية متوسطة لت
عزيز أداء نماذج اللغة المدربة مسبقا في مهمة إكمال تلقائي النص وتكييفها بشكل مستقل إلى مجالات محددة.تضم استراتيجيتنا هدفا جديدا للتدريب على الإشراف على الذات يسمى التنبؤ بالعبارة التالية (NPP)، والذي يشجع نموذج اللغة لإكمال الاستعلام الجزئي مع العبارات المخصبة وتحسين أداء الانتهاء التلقائي للنموذج في النهاية.أظهرت التجارب الأولية أن نهجنا قادر على تفوق خطوط الأساس في الإنجاز التلقائي للنطاقات البريدية والكتابة الأكاديمية.
يحتوي الرسم البياني المعرفي المفتوح المجال (KG) على كيانات كعقد، وعلاقات اللغة الطبيعية كحواف، ويتم بناؤها عن طريق الاستخراج (الموضوع، العلاقة، كائن) ثلاث مرات من النص. مهمة التنبؤ ارتباط المجال المفتوح هو أن يستنتج العلاقات المفقودة في كجم. استخدم ا
لعمل السابق التنبؤ بالصلة القياسية للمهمة. نظرا لأن ثلاثة أضعاف استخراج من النص، فيمكننا أن ننظر إليها في السياق النصي الأكبر الذي تم العثور عليه أصلا. ومع ذلك، فإن أساليب التنبؤ بالصلة القياسية تعتمد فقط على هيكل KG وتجاهل السياق النصي الذي تم استخراج كل ثلاث مرات منه. في هذه الورقة، نقدم المهمة الجديدة لتنبؤ ارتباط السياق المفتوح الذي يمكنه الوصول إلى كل من السياق النصي وبنية كجم لإجراء تنبؤ الارتباط. نحن نبني مجموعة بيانات للمهمة واقتراح نموذج لذلك. تظهر تجاربنا أن السياق أمر حاسم في التنبؤ بالعلاقات المفقودة. كما نوضح فائدة التنبؤ بالوصلة السياقية في اكتشاف الاستراتيجية المستقلة للسياق بين العلاقات، في شكل رسوم بيانية استقامة (على سبيل المثال)، والتي تكون فيها العقد العلاقات. تعقد العكس أيضا: المساعدات المستقلة للسياق EGS في التنبؤ بالعلاقات في السياق.
في السنوات الأخيرة، الأعمال التجارية العالمية في المناقشات عبر الإنترنت وتقاسم الرأي حول وسائل التواصل الاجتماعي مزدهرة. وبالتالي، يقترح ذلك مهمة التنبؤ بإعادة الدخول لمساعدة الناس على تتبع المناقشات التي يرغبون في الاستمرار فيها. ومع ذلك، فإن الأعما
ل الحالية تركز فقط على استغلال سجلات الدردشة ومعلومات السياق، وتجاهل إشارات التعلم المفيدة المحتملة بيانات المحادثة الأساسية، مثل أنماط موضوع المحادثة والمشاركة المتكررة للمستخدمين المستهدفين، والتي تساعد على فهم سلوك المستخدمين المستهدفين بشكل أفضل في المحادثات. في هذه الورقة، نقترح ثلاثة مهام مساعدة مثيرة للاهتمام وأسس بشكل جيد، وهي نمط انتشار، المستخدم المستهدف المتكرر، وتحويل التأتجل، كإشارات الإشراف ذاتيا لإعادة التنبؤ بالدخول. يتم تدريب هذه المهام الإضافية مع المهمة الرئيسية بطريقة متعددة المهام. تظهر النتائج التجريبية على مجموعة بيانات يتم جمعها حديثا من Twitter و Reddit أن أسلوبنا تتفوق على الحالة السابقة من الفنون السابقة مع عدد أقل من المعلمات والتقارب الأسرع. تظهر تجارب وتحليل مستفيضة فعالية نماذجنا المقترحة وأشير أيضا إلى بعض الأفكار الرئيسية في تصميم المهام ذات الإشراف على الذات.
هدف التنبؤ بالحقائق في الحدث (EFP) هو تحديد درجة الواقعية لذكر الحدث، مما يمثل مدى احتمال ذكر الحدث في النص.أظهرت نماذج التعلم العميق الحالية أهمية الهياكل النحوية واللاللالية للجمل لتحديد كلمات السياق الهامة ل EFP.ومع ذلك، فإن المشكلة الرئيسية في نم
اذج EFP هذه هي أنها تشفص مسارات القفزة الواحدة فقط بين الكلمات (I.E.، والاتصالات المباشرة) لتشكيل هياكل الجملة.في هذا العمل، نظهر أن مسارات القفزات متعددة القفزة بين الكلمات ضرورية أيضا لحساب هياكل الجملة ل EFP.تحقيقا لهذه الغاية، نقدم نموذجا للتعليم العميق الجديد ل EFP الذي يعتبر صراحة مسارات القفزات متعددة القفزات مع كل من الحواف القائمة على بناء الجملة والدلية بين الكلمات للحصول على هياكل الجملة للتعلم في EFP.نوضح فعالية النموذج المقترح عبر التجارب الواسعة في هذا العمل.
نقترح نموذج فرقة للتنبؤ بالتعقيد المعجمي للكلمات وتعبيرات متعددة الكلمات (MWES).يتلقى النموذج كإدخال جملة بكلمة مستهدفة أو MWE وتخرج درجة التعقيد.بالنظر إلى أن التحدي الرئيسي مع هذه المهمة هو الحجم المحدود للبيانات المشروح، يعتمد نموذجنا على تمثيلات
السياقية المحددة مسبقا من نماذج اللغة القائمة على المحولات المختلفة (IE، Bert and Roberta)، وعلى مجموعة متنوعة منطرق التدريب لمزيد من تعزيز التعميم النموذجي والترويج: التعلم متعدد الخطوات من الترابط والتعلم متعدد المهام، والتدريب الخصم.بالإضافة إلى ذلك، نقترح إثراء التمثيلات السياقية بإضافة ميزات مصنوعة يدوية أثناء التدريب.حقق نموذجنا نتائج تنافسية ومرتبة بين أنظمة أفضل 10 في كلتا المهام الفرعية.
تقدم هذه الورقة النتائج والنتائج الرئيسية لمهمة Semeval-2021 1 - تنبؤ التعقيد المعجمي.قدمنا المشاركين مع نسخة معدية من كوربوس المعقدة (Shardlow et al. 2020).تعد Complex وجبة إنجليزية متعددة المجالات التي تم فيها تفاح الكلمات والتعبيرات المتعددة الكلم
ة (MWES) فيما يتعلق بعقودها باستخدام مقياس Likert خمس نقاط.Semeval-2021 المهمة 1 الممتازة بمهام فرعية: المهمة الفرعية 1 التي تركز على الكلمات الفرعية والمهمة الفرعية 2 التي تركز على mwes.اجتذبت المنافسة 198 فريقا في المجموع، منها 54 فريقا قدم رسميا يدير في بيانات الاختبار إلى المهمة الفرعية 1 و 37 إلى المهمة الفرعية 2.
رضا المستخدمين على مستوى الدوران هو أحد أهم مقاييس الأداء لعوامل المحادثة. يمكن استخدامه لمراقبة أداء الوكيل وتوفير رؤى حول تجارب المستخدم المعيبة. في حين أن التعلم العميق المنتهي في النهاية قد أظهر نتائج واعدة، فإن الوصول إلى عدد كبير من العينات الم
شروح الموثوقة التي تتطلبها هذه الطرق تظل تحديا. في نظام محادثة واسعة النطاق، يوجد عدد متزايد من المهارات المتقدمة حديثا، مما يجعل عملية جمع البيانات التقليدية والشروحية وعملية النمذجة غير عملي بسبب تكاليف التوضيحية المطلوبة وأوقات التحول. في هذه الورقة، نقترح اقتراح نهج تعليمي بسيط للإشراف على أن يهدف إلى مجموعة من البيانات غير المسبقة لتعلم تفاعلات وكيل المستخدم. نظهر أن النماذج المدربة مسبقا باستخدام الهدف الأكثر إشرا للإشراف قابلة للتحويل إلى تنبؤ رضا المستخدمين. بالإضافة إلى ذلك، نقترح نقه نهج لتعلم تحويل القليل من الرواية يضمن نقل أفضل لأحجام عينة صغيرة جدا. لا تتطلب الطريقة القليلة المقترحة أي عملية تحسين الحلقة الداخلية وهي قابلة للتحجيم إلى مجموعات البيانات الكبيرة جدا والنماذج المعقدة. بناء على تجاربنا باستخدام بيانات حقيقية من نظام تجاري واسع النطاق، فإن النهج المقترح قادر على تقليل العدد المطلوب بشكل كبير، مع تحسين التعميم بشأن المهارات غير المرئية.
التحدي الرئيسي في أبحاث أنظمة الحوار هو التكيف بشكل فعال وكفاءة مع مجالات جديدة. يتطلب نموذجا قابل للتطوير للتكيف تطوير النماذج التعميمية التي تؤدي بشكل جيد في إعدادات قليلة. في هذه الورقة، نركز على مشكلة تصنيف النية التي تهدف إلى تحديد نوايا المستخد
مين المعطاة الكلام الموجهة إلى نظام الحوار. نقترح اقترابين لتحسين تعميم نماذج تصنيف الكلام: (1) مراقبون و (2) تدريب على سبيل المثال لقد أظهر العمل السابق أن النماذج التي تشبه بيرت تميل إلى تنسيق مبلغ كبير من الاهتمام ل [CLS] الرمز المميز، والتي نفترض النتائج في تمثيلات مخففة. المراقبون هم الرموز التي لا تحضرها، وهي بديل من رمزية [CLS] كتمثيل دلالي للكلمات. يتعلم التدريب على سبيل المثال أن تصنف الكلام من خلال مقارنة بالأمثلة، وبالتالي استخدام التشفير الأساسي كنموذج تشابه الجملة. هذه الأساليب مكملة؛ إن تحسين التمثيل من خلال المراقبين يسمحون بالنموذج الذي يحركه المثال إلى تحسين أوجه تشابه الجملة. عند دمجها، فإن الأساليب المقترحة تحقق نتائج أحدث نتائج من ثلاث مجموعات من مجموعات بيانات التنبؤ النية (Banking77، CLINC150، HWU64) في كلا البيانات الكاملة وإعدادات قليلة (10 أمثلة لكل نية). علاوة على ذلك، نوضح أن النهج المقترح يمكن أن ينقل إلى النوايا الجديدة وعبر مجموعات البيانات دون أي تدريب إضافي.
أصبحت الرسوم البيانية المعرفة (KGS) شعبية بشكل متزايد في السنوات الأخيرة. ومع ذلك، نظرا لأن المعرفة تنمو باستمرار وتغييرات، فمن المحتم أن تمتد KGS الموجودة مع الكيانات التي ظهرت أو أنها ذات صلة بنطاق كجم بعد إنشائها. تعتمد البحث في تحديث KGS عادة على
استخراج الكيانات المسماة والعلاقات من النص. ومع ذلك، لا يمكن لهذه الأساليب استنتاج كيانات أو علاقات غير مذكورة صراحة. بدلا من ذلك، استغلال نماذج التضمين الانتظار الهيكلية الضمنية للتنبؤ بالعلاقات المفقودة، ولكن لا يمكن التنبؤ بالكيانات المفقودة. في هذه المقالة، نقدم طريقة جديدة لإثراء KG مع كيانات جديدة بالنظر إلى وصفها النصي. لدينا طريقة ترفع نماذج تضمين مشتركة، وبالتالي لا تتطلب كيانات أو علاقات يمكن تسميتها صراحة. نظرا لأن نهجنا يمكن أن تحدد مفاهيم جديدة في كوربوس وثيقة ونقلها إلى كجم، ونجد أن أداء طريقتنا يحسن بشكل كبير عند تمديده مع تقنيات من تعدين حكم الرابطة، والتعدين النصي، والتعلم النشط.
إن نمذجة العلاقة بين عكارة مياه الشرب في محطة تنقية مياه الشرب في السن، و بقية بارامترات جودة المياه باستخدام أسلوب الشبكات العصبونية الصنعية الديناميكية يساعد على تحقيق الاستقرار في أداء محطة تنقية مياه الشرب، حيث توفر هذه الشبكات أداةً فعالة للتعام
ل مع الطبيعة المعقدة، و الديناميكية، و غير الخطية لعمليات التنقية، و لديها القدرة على الاستجابة للتغيرات الآنية المختلفة للبارامترات المؤثرة في تنقية المياه.
صمم في هذا البحث أربعة نماذج للشبكات العصبونية الديناميكية ذات التغذية الأمامية و الانتشار العكسي للخطأ للتنبؤ بعكارة المياه المرشحة الخارجة من محطة تنقية مياه الشرب في السن، بالاعتماد على بارامترات عكارة و ناقلية و pH المياه الخام الداخلة إلى المحطة، بينما استخدمت بيانات عكارة المياه الخارجة من المحطة للتحقق من دقة أداء الشبكة العصبونية الصنعية، حيث أثبتت نتائج الدراسة قدرة الشبكات العصبونية الصنعية الديناميكية في نمذجة و محاكاة السلوك غير الخطي للعكارة و التنبؤ بقيمها، و هو ما يدعم استخدامها في محطة تنقية مياه الشرب في السن للمساهمة في تحقيق الاستقرار في عمل المحطة.
