نحن نعتبر مشكلة تعلم إصلاح برامج ج خاطئة عن طريق تعلم المحاذاة المثلى مع البرامج الصحيحة. نظرا لأن الأساليب السابقة إصلاح خطأ واحد في السطر، فمن المحتمل أنه لا مفر منه لتكرار عملية التثبيت حتى لا تبقى أخطاء. في هذا العمل، نقترح إطارا تعليمي تسلسل تسل
سل جديد لتحديد أخطاء برنامج متعددة في وقت واحد. نقدم نهج وضع العلامات على البيانات المسافة من المسافة لتصحيح خطأ البرنامج. بدلا من وصف مثال إصلاح البرنامج عن طريق إقران برنامج خاطئ مع إصلاح خط، نعلم المثال عن طريق تحديد برنامج خاطئ مع محاذاة مثالية إلى البرنامج الصحيح المقابل الناتج عن حساب التحرير المسافة. نقيم نهجنا المقترح في مجموعة بيانات متاحة للجمهور (Deepfix DataSet) التي تتكون من برامج C الخاطئة المقدمة من طلاب البرمجة المبتدئين. على مجموعة من 6،975 برنامجا خاطئا من بيانات DataSet Deepfix، فإن نهجنا يحقق النتيجة الحديثة من حيث معدل الإصلاح الكامل على DeepFix DataSet (بدون بيانات إضافية مثل رسالة خطأ التحويل البرمجي أو رموز مصدر إضافية مسبقا -تمرين).
بدافع من جيل السؤال المقترح في أنظمة توصية أخبار المحادلات، نقترح نموذجا لتوليد أزواج الإجابات السؤال (أزواج ضمان الجودة) مع أسئلة ذاتية التركيز ذاتي ومقيد الطول، إجابات تلخص المادة.نبدأ بجمع مجموعة بيانات جديدة من المقالات الإخبارية مع أسئلة كعناوين
واقترانها مع ملخصات طول متفاوتة.يتم استخدام هذه البيانات هذه البيانات لتعلم ملخصات إنتاج نموذج توليد QA للزوج كجابات توازن الرصيد بالإيجاز مع الاكتفاء بالاشتراك مع أسئلتها المقابلة.ثم نعزز عملية توليد زوج ضمان الجودة مع وظيفة مكافأة مختلفة لتخفيف تحيز التعرض، وهي مشكلة شائعة في توليد اللغة الطبيعية.يظهر كل من المقاييس التلقائية والتقييم البشري هذه أزواج ضمان الجودة بنجاح التقاط القابس المركزي للمقالات وتحقيق دقة عالية للإجابة.
تستخدم وظائف الاستحواذ المشتركة للتعلم النشط إما أخذ عينات من عدم اليقين أو التنوع، تهدف إلى تحديد نقاط بيانات صعبة ومتنوعة من مجموعة البيانات غير المسبقة، على التوالي. في هذا العمل، استمتع بأفضل ما في العالمين، نقترح وظيفة الاستحواذ المفتوحة لاختار
الأمثلة المتعاقبة تماما، أي نقاط بيانات مشابهة في مساحة ميزة النموذج وحتى الآن مخرجات النموذج احتمالية تنبؤية مختلفة. قارنا نهجنا، CAL (التعلم النشط الصنع)، مع مجموعة متنوعة من وظائف الاستحواذ في أربعة مهام فهم اللغة الطبيعية وسبع مجموعات البيانات. تظهر تجاربنا أن CUR يؤدي Cal بشكل أفضل أو متساو من أفضل خط الأساس الأدائي عبر جميع المهام، على كل من البيانات داخل المجال والخروج. نقوم أيضا بإجراء دراسة واسعة النمذجة لطرأتنا، ونحن نتحلل جميع مجموعات البيانات المكتسبة بنشاط والتي توضح أن كال يحصل على مفاضلة أفضل بين عدم اليقين والتنوع مقارنة باستراتيجيات أخرى.
تقدم هذه الورقة نهجا جديدا للتعلم بزيادة المعنى بصريا تمثيل الكلمات باعتبارها تضمين عقدة منخفضة الأبعاد في التسلسل الهرمي في الرسم البياني الأساسي.المستوى الأدنى من عروض الكلمات التسلسل الهرمية الخاصة بالكلمة، مشروط إلى طريقة أخرى، من خلال الرسوم الب
يانية المخصصة ولكن التواصل، في حين أن المستوى الأعلى يضع هذه التمثيلات معا على رسم بياني واحد لمعرفة التمثيل بالاشتراك من كل من الطرائق.طوبولوجيا كل طرازات الرسم البياني علاقات التشابه بين الكلمات، ويقدر بالاشتراك مع تضمين الرسم البياني.الافتراض الأساسي هذا النموذج هو أن الكلمات تقاسم معنى مماثل تتوافق مع المجتمعات في الرسم البياني الأساسي في مساحة منخفضة الأبعاد.لقد سمحنا على هذا النموذج التسلسل الهرمي تشابه الرسم البياني متعدد الوسائط (HM-SGE).تحقق النتائج التجريبية من صحة قدرة HM-SGE لمحاكاة أحكام التشابه البشري وتصنيف المفهوم، مما يتفوق على حالة الفن.
برزت الألعاب القائمة على النصوص (TBGS) كخطط مهم لتعزيز التعزيز (RL) في مجال اللغة الطبيعية.الأساليب السابقة باستخدام سياسات الإجراءات القائم على LSTM غير قابلة لإرسالها وغالبا ما تتجاوزت ألعاب التدريب التي تظهر أداء ضعيف لألعاب الاختبار غير المرئية.ن
قدم سياسة الإجراءات الرمزية للبيئات النصية (لائحة)، والتي تتعلم قواعد سياسة العمل القابلة للتفسير من التجريدات الرمزية للملاحظات النصية لتحسين التعميم.نحن نبحث عن طريقة لتعلم القاعدة الرمزية المتفوقة في نهاية إلى نهاية وإظهار أن هذه السياسات الرمزية تتفوق على الأساليب السابقة من أحدث الأحوال الفنية في RL القائمة على الرسائل النصية لبيئة جامع العملة من 5-10x ألعاب تدريب أقل.بالإضافة إلى ذلك، توفر طريقتنا قواعد سياسية مفهومة للإنسان والتي يمكن التحقق منها بسهولة من أجل الاتساق المنطقي ويمكن تصحيحها بسهولة.
أظهر تعلم التعزيز العميق إمكانات كبيرة في سياسات الحوار التدريبية. ومع ذلك، فإن أدائها المواتي يأتي بتكلفة العديد من جولات التفاعل. تعتمد معظم أساليب سياسة الحوار الحالية على نظام تعليمي واحد، في حين أن الدماغ البشري يحتوي على نظامين لتعلم وذاكرة متخ
صصين، يدعمان لإيجاد حلول جيدة دون الحاجة إلى أمثلة غزيرة. مستوحاة من الدماغ البشري، تقترح هذه الورقة إطار عمل لتعلم السياسات التكميلي الرواية (CPL)، والتي تستغل المزايا التكميلية لسياسة الذاكرة العرضية (EM) وسياسة شبكة Q-Network (DQN) العميقة لتحقيق تعلم سياسة حوار سريعة وفعالة وبعد من أجل التنسيق بين السياسة، اقترحنا وحدة تحكم الثقة للسيطرة على الوقت التكميلي وفقا لفعولتها النسبية في مراحل مختلفة. علاوة على ذلك، يتم اقتراح اتصال الذاكرة وتقليم الوقت لضمان التعميم المرن والتكيف للسياسة EM في مهام الحوار. تظهر النتائج التجريبية على ثلاث مجموعات بيانات الحوار أن طريقتنا تتفوق بشكل كبير على الطرق الحالية التي تعتمد على نظام تعليمي واحد.
أظهرت التقدم المحرز الأخير في نماذج اللغة المستندة إلى المحولات الاحترام نجاحا كبيرا في تعلم التمثيل السياقي للنص.ومع ذلك، نظرا لتعقيد الاهتمام من الدرجة الثانية، يمكن لمعظم نماذج المحولات مسبقا التعامل مع النص القصير نسبيا.لا يزال يمثل تحديا عندما ي
تعلق الأمر بنمذة مستندات طويلة جدا.في هذا العمل، نقترح استخدام شبكة انتباه الرسوم البيانية أعلى نموذج المحولات مسبقا متوفرة لتعلم تضمين الوثائق.تتيح لنا شبكة انتباه الرسم البياني هذه الاستفادة من الهيكل الدلالي الرفيع المستوى للوثيقة.بالإضافة إلى ذلك، استنادا إلى نموذج وثيقة الرسم البياني لدينا، نقوم بتصميم استراتيجية تعليمية بسيطة بسيطة للتعبير عن نماذجنا بمقدار كبير من الكائنات الكبيرة.تجريبيا، نوضح فعالية نهجنا في تصنيف الوثائق ومهام استرجاع المستندات.
بصرف النظر عن نجاح نهج تعلم النطاق المختلط في مجال التعلم العميق لحل المهام المختلفة لمعالجة اللغة الطبيعية، فإنه لا يقرض حل جماعيا للكشف عن المعلومات الخاطئة من بيانات وسائل التواصل الاجتماعي CovID-19. نظرا للتعقيد المتأصل من هذا النوع من البيانات،
الناجمة عن ديناميك (سياقه يتطور بسرعة)، ذات الطابع الدقيق (أنواع الخائن غير غامضة في كثير من الأحيان)، ومتنوعة (الفئات المنحيحة، المحبوسة والتداخل) الطبيعة، من الضروري نموذج فعال لالتقاط كل من السياق المحلي والعالمي للمجال المستهدف. من خلال إجراء تحقيق منهجي، نظهر أن: (1) النماذج المدربة مسبقا مسبقا للمحولات العميقة، المستخدمة عبر تعلم نقل المجال المختلط، جيدة فقط في التقاط السياق المحلي، وبالتالي تظهر تعميم ضعيف، و (2) يمكن أن يستخرج مزيج من النماذج الضحلة المستندة إلى الشبكة والشبكات العصبية التنافسية السياق محليا بالإضافة إلى السياق بشكل فعال بالإضافة إلى البيانات المستهدفة بطريقة هرمية بطريقة هرمية، مما يتيح من تقديم حل أكثر تعميما.
في هذه الورقة، نصف نظام ملكة جمالنا الذي شارك في مهمة ترجمة WMT21 الأخبار. شاركنا بشكل رئيسي في تقييم اتجاهات الترجمة الثلاثة لمهام الترجمة الإنجليزية واليابانية والإنجليزية. في النظم المقدمة، تعتبر في المقام الأول شبكات أوسع، وشبكات أعمق، والترميز ا
لموضعي النسبي، والشبكات التنافعية الديناميكية من حيث هيكل النماذج، في حين أننا من حيث التدريب، حققنا في تكييف المجال المعزز للتناقض في التعلم، والتدريب والإشراف على الذات، والتحسين طرق التدريب التبديل الموضوعية. وفقا لنتائج التقييم النهائي، يمكن لشبكة أعمق وأوسع وأقوى تحسين أداء الترجمة بشكل عام، ومع ذلك يمكن أن تحسن طريقة توطين نطاق البيانات لدينا الأداء أكثر. بالإضافة إلى ذلك، وجدنا أن التبديل إلى استخدام هدفنا المقترح خلال المرحلة الفائقة باستخدام البيانات الصغيرة المرتبطة بالنطاق نسبيا يمكن أن يحسن بشكل فعال من استقرار تقارب النموذج وتحقيق الأداء الأمثل بشكل أفضل.
حقق التعلم التلوي نجاحا كبيرا في الاستفادة من المعرفة المستفادة التاريخية لتسهيل عملية التعلم المهمة الجديدة.ومع ذلك، فإن تعلم معرفة المهام التاريخية، التي اعتمدتها خوارزميات التعلم التلوي الحالية، قد لا تعميم بشكل جيد للاختبار المهام عندما لا تكون م
دعومة جيدا بمهام التدريب.تدرس هذه الورقة مشكلة تصنيف النص المنخفض للموارد ويزيد الفجوة بين مهام اختبار التوطين والاختبار التلوي من خلال الاستفادة من قواعد المعرفة الخارجية.على وجه التحديد، نقترح KGML لإدخال تمثيل إضافي لكل جملة مستفادة من الرسم البياني المعرفي الخاص بالحكم الجملة المستخرجة.توضح التجارب الواسعة على ثلاثة مجموعات بيانات فعالية KGML تحت كلا من إعدادات التكيف والإشراف غير المدفوع.
