يوفر تقطير المعرفة (KD) وسيلة طبيعية لتقليل الكمون واستخدام الذاكرة / الطاقة للنماذج المسبقة للأعياد الضخمة التي تأتي للسيطرة على معالجة اللغة الطبيعية (NLP) في السنوات الأخيرة. في حين أن العديد من المتغيرات المتطورة في خوارزميات KD قد اقترحت لتطبيقا
ت NLP، فإن العوامل الرئيسية التي تدعم أداء التقطير الأمثل غالبا ما تكون مرتبكة وتبقى غير واضحة. نحن نهدف إلى تحديد مدى تأثير مكونات مختلفة في خط أنابيب KD على الأداء الناتج ومقدار خط أنابيب KD الأمثل يختلف عبر مجموعات البيانات / المهام المختلفة، مثل سياسة تكبير البيانات، وظيفة الخسارة، والتمثيل الوسيط لنقل المعرفة بين المعلم وطالب. لتتأكد من أن آثارها، نقترح تقطير، إطار التقطير، يجمع بشكل منهجي بين مجموعة واسعة من التقنيات عبر مراحل مختلفة من خط أنابيب KD، مما يتيح لنا تحديد مساهمة كل مكون. ضمن تقطير، ونحن نقوم بتحديد الأهداف الشائعة الاستخدام لتقطير التمثيلات الوسيطة بموجب هدف معلومات متبادلة عالمية (MI) واقتراح فئة من الوظائف الموضوعية MI مع التحيز / تباين التباين أفضل لتقدير ميل بين المعلم والطالب. في مجموعة متنوعة من مجموعات بيانات NLP، يتم تحديد أفضل تكوينات تقطير عبر تحسين المعلمة على نطاق واسع. تجاربنا تكشف عن ما يلي: 1) النهج المستخدم لتقطير التمثيل الوسيط هو أهم عامل في أداء الدكتوراط، 2) بين أهداف مختلفة للتقطير الوسيط، MI-تنفذ أفضل، و 3) يوفر تكبير البيانات دفعة كبيرة ل مجموعات البيانات التدريب الصغيرة أو شبكات الطلاب الصغيرة. علاوة على ذلك، نجد أن مجموعات البيانات / المهام المختلفة تفضل خوارزميات KD المختلفة، وبالتالي اقترح خوارزمية بسيطة ل Autodistiller التي يمكن أن توصي بخط أنابيب KD جيدة لمجموعة بيانات جديدة.
لقد تم استخراج العلاقات عبر مجموعة نصية كبيرة غير مستمدة نسبيا في NLP، لكنه مهم للغاية بالنسبة لمجالات عالية القيمة مثل الطب الحيوي، حيث يكون الحصول على استدعاء عالية من أحدث النتائج أمر حاسم للتطبيقات العملية. بالمقارنة مع استخراج المعلومات التقليدي
ة المحصورة على تمديد النص القصير، فإن استخراج العلاقات على مستوى المستند يواجه تحديات إضافية في كل من الاستدلال والتعلم. وبالنظر إلى تمديدات نصية أطول، فإن الهندسة العصبية الحديثة هي الإشراف الذاتي الأقل فعالية ومحددة المهام مثل الإشراف البعيد يصبح صاخبا جدا. في هذه الورقة، نقترح انحلال استخراج العلاقات على مستوى الوثيقة في الدقة المتعلقة بالكشف عن العلاقة والحجة، مما أدى إلى إلهام من دلالات ديفيدسون. تمكننا هذا من دمج نماذج الخطاب الصريحة والاستفادة من الإشراف الذاتي المعياري لكل مشكلة فرعية، وهو أقل عرضة للضوضاء ويمكن أن يكون مزيدا من النهايات المكررة عبر التباين. نقوم بإجراء تقييم شامل في قراءة الآلة الطبية الحيوية لعلم الأورام الدقيقة، حيث تذكر علاقة الفقرة الشاملة سائدة. تتفوق طريقةنا على الدولة السابقة للفن، مثل التعلم متعدد النطاق والشبكات العصبية الرسمية، بأكثر من 20 نقطة F1 المطلقة. وانطبق الربح بشكل خاص بين أكثر حالات العلاقات الأكثر تحديا التي لا تحدث حججها في فقرة.
نحن نتطلع إلى تحيز أخذ العينات والقضايا الخارجية في عدد قليل من التعلم عن اكتشاف الحدث، وهو متعقب فرعي لاستخراج المعلومات.نقترح نموذج العلاقات بين المهام التدريبية في التعلم القليل من الرصاص البارز من خلال إدخال نماذج النماذج عبر المهام.ونحن نقترح كذ
لك فرض اتساق التنبؤ بين المصنفين عبر المهام لجعل النموذج أكثر قوة على القيم المتطرفة.تظهر تجربتنا الواسعة تحسنا ثابتا على ثلاث مجموعات من مجموعات بيانات التعلم قليلة.تشير النتائج إلى أن نموذجنا هو أكثر قوة عند وصف بيانات المسمى لأنواع الأحداث الرواية محدودة.يتوفر شفرة المصدر على http://github.com/laiviet/fsl-proact.
تقيم هذه الدراسة ما إذا كان يمكن استخدام خوارزميات الترشيح التعاونية التعاونية النموذجية (CF)، والتي تمت دراستها على نطاق واسع وتستخدم على نطاق واسع لبناء أنظمة التوصية، للتنبؤ بالأسماء المشتركة التي يمكن أن تتخذها المسند ككمل لها. نجد أنه عند تدريب
البيانات المشتركة في الفعل الفعل المنسق من كوربوس الأمريكيين المعاصرين - الإنجليزية (COCA)، اثنين من خوارزميات CF شعبية تعتمد على النموذج، وتحلل القيمة المفرد وعوامل مصفوفة غير سلبية، تؤدي بشكل جيد في هذه المهمة ، يحقق كل منها AUROC من 0.89 على الأقل وتجاوز العديد من خطوط الأساس المختلفة. نوضح بعد ذلك أن ناقلات التضمين للأفعال والأسماء المستفادة من طرازات CF يمكن قياسها (عبر تطبيق K- يعني التجميع) مع الحد الأدنى من فقدان الأداء في مهمة التنبؤ مع استخدام عدد صغير فقط من الأفعال والأسماء (بالنسبة لعدد الأفعال والأسماء المتميزة). أخيرا، نقيم المحاذاة بين ناقلات التضمين الكمي للأفعال وفئات الفعل ليفين، وتجدر عن أن المحاذاة تجاوزت العديد من خطوط الأساس العشوائية. نستنتج عن طريق مناقشة كيفية تطبيق خوارزميات CF النموذجية القائمة على قيود التعلم على الاختيار المكونات بين مختلف الفئات المعجمية وكيف يمكن بعد ذلك استخدام هذه النماذج (المستفادة) لزيادة قواعد الدائرة الانتخابية (القاعدة).
نحن تصف مهمة Sigmorphon الثانية على التورفولوجيا غير المدعومة: الهدف من المهمة المشتركة SIGMORPHON 2021 على تجميع النماذج المورفولوجية غير المزدئة غير المنشأة هو أنواع الكلمات العنقودية من كوربوس نص الخام إلى النماذج.تحقيقا لهذه الغاية، نطلق سرورا لم
دة 5 لغات تطوير و 9 لغات اختبار، وكذلك النماذج الجزئية الذهبية للتقييم.نتلقى 14 تقريرا من 4 فرق تتبع الاستراتيجيات المختلفة، ويستند أفضل نظام أداء على قواعد النحوية.تختلف النتائج بشكل كبير عبر اللغات.ومع ذلك، فإن جميع الأنظمة متفوقة من قبل Lemmmmmmmatizer تحت إشراف، مما يعني أنه لا يزال هناك مجال للتحسين.
تعرض هذه الورقة أنظمة مختلفة لمجموعة مختلفة من النماذج المورفولوجية، في سياق المهمة المشتركة Sigmorphon 2021 2. الهدف من هذه المهمة هو تصحيح الكلمات العنقودية بشكل صحيح بلغة معينة من قبل نموذج اندلاطها، دون أي معرفة سابقة باللغة وبدون إشراف من البيان
ات المسمى لأي فرز. تعد الكلمات الموجودة في النموذج المورفولوجي الواحد بمتغيرات انتشار مختلفة من ليمما الأساسي، مما يعني أن الكلمات تشترك في معنى أساسي مشترك. كما أنها - عادة - تظهر درجة عالية من التشابه الجبادي. بعد حدس هذه الحدس، نحقق في تجميع كماينز باستخدام نوعين مختلفين من تمثيلات الكلمات: يركز المرء على التشابه الجبائي والتركيز الآخر على التشابه الدلالي. يتم تحديد الأدوار الوسطى المحددة مسبقا بناء على وجود خوارزمية فرعية مشتركة عادية أو طريقة رسم بيانية متصلة مبنية بأطول فرعية شائعة. بالنسبة لجميع لغات التطوير، فإن المدينات القائمة على الطابع تؤدي بالمثل إلى خط الأساس، وتشير المبدأ الدوالي أداء أقل بكثير من خط الأساس إلى أن أخطاء النظم تشير إلى أن التجميع القائم على تمثيلات إلكترونية مناسبة لمجموعة واسعة من الآليات المورفولوجية، لا سيما كجزء من نظام أكبر.
يصف هذا العمل تقديم Edinburgh إلى المهمة Sigmorphon 2021 المشتركة 2 على تجميع النموذج المورفولوجي غير المقترح.إعطاء إدخال النص الخام، وكانت المهمة لتعيين كل رمز رمزية إلى كتلة مع الرموز الأخرى من نفس النموذج.نحن نستخدم تجزئة محول القواعد جنبا إلى جنب
مع الاستدلال القائم على التردد للتنبؤ مجموعات النماذج.حقق نظامنا أعلى متوسط درجة F1 عبر 9 لغات اختبار، ووضع أولا من 15 رسالة.
تصف هذه الورقة نظام فريق Cambridge المقدم إلى المهمة المشتركة SEMEVAL-2021 على الغموض المتعدد اللغات واللغة الاجتماعية في السياق.بناء فوق نموذج لغة ملثم مسبقا مدرب مسبقا، يتم تدريب نظامنا أولا مسبقا على بيانات خارج المجال، ثم ضبطها على بيانات داخل ال
مجال.نوضح فعالية استراتيجية التدريب التي تتراوح خطوتين مقترح وفوائد تكبير البيانات من كل من الأمثلة القائمة والموارد الجديدة.نحن مزيد من التحقيق في التمثيلات المختلفة وإظهار أن إضافة الميزات المستندة إلى عن بعد مفيدة في مهمة الغموض للكلمة في السياق.ينتج نظامنا نتائج تنافسية للغاية في المسار المتبادل دون تدريب على أي بيانات عبر اللغات؛وتحقق نتائج أحدث النتائج في المسار متعدد اللغات، الترتيب الأول في لغتين (العربية والروسية) والثانية في الفرنسية من أصل 171 نظام مقدم.
غالبا ما يتم إجراء اعتدال المحتوى عن طريق التعاون بين البشر ونماذج التعلم الآلي. ومع ذلك، ليس من المفهوم جيدا كيفية تصميم العملية التعاونية لزيادة أداء نظام النموذج النموذجي المدمج. يقدم هذا العمل دراسة صارمة لهذه المشكلة، مع التركيز على نهج يتضمن عد
م اليقين النموذجي في العملية التعاونية. أولا، نقدم مقاييس مبدئية لوصف أداء النظام التعاوني في ظل قيود القدرات على المشرف البشري، وقم بترتيب مدى كفاءة النظام المشترك يستخدم القرارات الإنسانية. باستخدام هذه المقاييس، نقوم بإجراء دراسة مرجعية كبيرة تقيم أداء نماذج عدم اليقين الحديثة في إطار استراتيجيات مراجعة تعاونية مختلفة. نجد أن الاستراتيجية القائمة على عدم اليقين تتفوق باستمرار على الاستراتيجية المستخدمة على نطاق واسع بناء على درجات السمية، وعلاوة على ذلك أن اختيار استراتيجية المراجعة يغير بشكل كبير أداء النظام الشامل. توضح نتائجنا أهمية مقاييس صارمة لفهم وتطوير أنظمة نماذج مشرف فعالة للاعتدال المحتوى، وكذلك فائدة تقدير عدم اليقين في هذا المجال.
تلخيص شفرة المصدر الآلي هي موضوع أبحاث هندسة برامج شهيرة حيث يتم استخدام نماذج الترجمة الآلية لترجمة مقتطفات التعليمات البرمجية إلى أوصاف اللغة الطبيعية ذات الصلة. تتم معظم تقييمات هذه النماذج باستخدام مقاييس تلقائية قائمة على المرجع. ومع ذلك، بالنظر
إلى الفجوة الدلالية الكبيرة نسبيا بين لغات البرمجة واللغة الطبيعية، فإننا نقول أن هذا الخط من الأبحاث سيستفيد من التحقيق النوعي في أوضاع الخطأ المختلفة لنماذج الحالة الحالية. لذلك، في هذا العمل، نقوم بإجراء مقارنة كمية ونوعية من ثلاثة نماذج تلخيص شفرة المصدر المقترحة مؤخرا. في تقييمنا الكمي، قارن النماذج المستندة إلى مقاييس الترجمة من BLEU-4 و Noteor و Rouge-L، وفي تقييمنا النوعي، نقوم بإجراء ترميز مفتوح يدوي لأخطاء الأكثر شيوعا التي ارتكبتها النماذج مقارنة مع تسميات الحقيقة الأرضية. يكشف تحقيقنا عن رؤى جديدة في العلاقة بين الأداء المستند إلى الأداء المتري وأخطاء التنبؤ بالنماذج التي تستند إلى تصنيف خطأ يمكن استخدامها لدفع جهود البحث في المستقبل.
