أظهرت الأساليب الحديثة بناء على نماذج اللغة المدربين مسبقا أداء مشغل قوي على المنطق المنطقي.ومع ذلك، فإنها تعتمد على شروح بيانات باهظة الثمن والتدريب المستهلكة للوقت.وهكذا، نحن نركز على التفكير المنطقي غير المنشأ.نظهر فعالية استخدام إطار عمل مشترك، ا
ستنتاج اللغة الطبيعية (NLI)، لحل مهام المنطق المنطقي متنوعة.من خلال الاستفادة من نقل التحويلات من مجموعات بيانات NLI الكبيرة، وحقن المعرفة الحاسمة من مصادر المنطقية مثل 2020 والفهول الذرية، حققت طريقنا أداء غير مدهز للحالة غير المدرجة في مهمتين منطقتي المنطقية: Winowhy و Commonsenseqa.أظهر إجراء مزيد من التحليل فوائد فئات متعددة من المعرفة، ولكن مشاكل حول الكميات والمتضادات لا تزال تحديا.
نقوم بتطوير نهج رواية للاستدلال بثقة في المحولات متعددة الطبقات الكبيرة والمكلفة الآن في كل مكان في معالجة اللغة الطبيعية (NLP).تؤدي الأساليب الحسابية المطفأة أو التقريبية إلى زيادة الكفاءة، ولكن يمكن أن تأتي مع تكاليف أداء غير متوقعة.في هذا العمل، ن
قدم القطط - محولات تكيفية واثقة - حيث نزيد في وقت واحد من الكفاءة الحسابية، مع ضمان درجة تحديد الحاسمة مع النموذج الأصلي بثقة عالية.تقوم طريقةنا بتدريب رؤوس التنبؤ الإضافية على رأس الطبقات الوسيطة، وتقريرها بشكل حيوي عند إيقاف تخصيص الجهود الحسابية لكل إدخال باستخدام مصنف تناسق التعريف.لمعايرة التوقعات المبكرة لدينا الحكم، نقوم بصياغة امتداد فريد من التنبؤ المطابق.نوضح فعالية هذا النهج في أربعة مهام التصنيف والانحدار.
قد يتم تنفيذ أنواع معينة من مشاكل التصنيف على مستويات متعددة من الحبيبات؛ على سبيل المثال، قد نريد معرفة قطبية المعنويات وثيقة أو جملة أو عبارة. في كثير من الأحيان، قد يكون التنبؤ في سياق أكبر (على سبيل المثال، الجمل أو الفقرات) أمرا مفيدا للتنبؤ أكث
ر تجميعية في وحدة دلالية أصغر (مثل الكلمات أو العبارات). ومع ذلك، قد يستنتج بشكل مباشر أكثر الميزات المحلية البارزة من التنبؤ العالمي من التوقعات العالمية في دلالات هذه العلاقة. يجادل هذا العمل بأن الاستدلال على طول العلاقة بين المواجهة بالتنبؤ المحلي والتنبؤ العالمي المقابل يجعل إطار الاستدلال أكثر دقة وقوية للضوضاء. نوضح كيف يمكن تنفيذ إطار الخازن هذا كدالة نقل تعمل على إعادة كتابة سياق أكبر من فئة واحدة إلى أخرى وإظهار كيفية تدريب وظيفة النقل المناسبة من كوربوس الناتج عن المستخدم صاخبة. تتحقق النتائج التجريبية البصيرة الخاصة بنا أن إطار المواقد المقترح يتفوق على النهج البديلة على مجالات المشكلات المقيدة بالموارد.
حققت نماذج اللغة المدربة مسبقا (PTLMS) أداء مثير للإعجاب في معايير استنتاج المنطقية، لكن قدرتها على استخدام المناولة لإستنساخ قوي، وهو أمر ضروري للاتصالات الفعالة مع البشر،. في السعي لتحقيق الاتصالات السائل للاتصالات الإنسانية، نقترح تحديا جديدا، ريك
ا: الاستدلال القوي باستخدام بديهيات المنطقية، التي تقيم الاستدلال القوي المنزلي على الرغم من الاضطرابات النصية. لتوليد بيانات لهذا التحدي، نقوم بتطوير إجراءات منهجية وقابلة للتطوير باستخدام قواعد المعرفة المنطقية والتحقيق PTLMS عبر إعدادين تقييمين مختلفين. تبين تجارب واسعة النطاق على مجموعات التحقيق التي تم إنشاؤها مع أكثر من 10K عبارات أن ptlms لا تؤدي أفضل من التخمين العشوائي على إعداد اللقطة الصفرية، وتتأثر بشدة بالتحيزات الإحصائية، وهي ليست قوية لهجمات الاضطراب. نجد أيضا أن الضبط الدقيق حول تصريحات مماثلة تقدم مكاسب محدودة، حيث لا تزال PTLMS تفشل في تعميم الاستدلالات غير المرئية. يعرض مؤشرنا الجديد واسع النطاق فجوة كبيرة بين PTLMS وفهم لغة الإنسان ويقدم تحديا جديدا ل PTLMS لإظهار العمولة.
على الرغم من أن تحيز التعرض قد درس على نطاق واسع في بعض مهام NLP، إلا أنه يواجه تحدياته الفريدة في توليد استجابة الحوار، وسيناريو الجيل الممثل الأول إلى مختلف. في الحوار الإنساني الحقيقي، هناك العديد من الردود المناسبة لنفس السياق، ليس فقط مع تعبيرات
مختلفة، ولكن أيضا مع مواضيع مختلفة. لذلك، بسبب الفجوة الأكبر بكثير بين العديد من ردود الحقيقة الأرضية والاستجابة الاصطناعية التي تم إنشاؤها، فإن تحيز التعرض أكثر تحديا في مهمة توليد الحوار. ما هو أكثر من ذلك، حيث يشجع MLE النموذج على تعلم الكلمات الشائعة فقط بين ردود الحقيقة المختلفة ، ولكن يتجاهل الأجزاء المثيرة والمحددة، قد يؤدي التحيز التعريض إلى أن يؤدي المزيد إلى مشكلة توليد الاستجابة المشتركة، مثل لا أعرف "وهاها؟" في هذه الورقة، نقترح آلية تحول التكيف الرواية، والتي تتعلم العبور تلقائيا بين التعلم الأساسي للحقيقة وتولد التعلم فيما يتعلق بدرجة مطابقة على مستوى الكلمة، مثل تشابه جيب التمام. تظهر النتائج التجريبية على كل من مجموعة بيانات STC الصينية ومجموعة بيانات Reddit الإنجليزية، أن طريقتنا التكيفية تحقق تحسنا كبيرا من حيث التقييم القائم على المتري والتقييم البشري، مقارنة بنهج تحيز التعرض للدولة القصيرة. يظهر تحليل إضافي حول مهمة NMT أيضا أن طرازنا يمكن أن يحقق تحسنا كبيرا.
يمكن إلقاء العديد من الأسئلة المفتوحة على المشكلات بمثابة مهمة استقامة نصية، حيث يتم تسليم الإجابات السؤال والمرشح لتشكيل الفرضيات. ثم يحدد نظام ضمان الجودة إذا كان قواعد المعرفة الداعمة، التي تعتبر مباني محتملة، تنطوي على الفرضيات. في هذه الورقة، نح
قق في نهج ضمان الجودة العصبي الرمزي الذي يدمج المنطق الطبيعي في مجال البندسة التعليمية العميقة، نحو تطوير نماذج إجابة فعالة وغير قابلة للتفسير. النموذج المقترح يسجل تدريجيا فرضية ومباني مرشحة بعد خطوات الاستدلال المنطقي الطبيعي لبناء مسارات إثبات. يتم قياس درجات الاستلام بين الفرضيات المتوسطة المكتسبة ومباني المرشح لتحديد ما إذا كانت الفرضية تستلزم الفرضية. نظرا لأن عملية التفكير الطبيعي للمنطق تشكل هيكل يشبه الأشجار وتسلسلا هرميا، فإننا قمنا بتضمين الفرضيات والمباني في مساحة مفرطة بدلا من مساحة Euclidean للحصول على تمثيلات أكثر دقة. تجريبيا، وطريقة لدينا تفوقت على العمل المسبق على الإجابة على أسئلة علوم متعددة الخيارات، وتحقيق أفضل النتائج في مجموعة بيانات متوفرة للجمهور. توفر عملية الاستدلال المنطقي الطبيعي بطبيعتها الأدلة للمساعدة في تفسير عملية التنبؤ.
تم عرض الجمع بين نموذج لغة مسبق (PLM) مع أنماط نصية للمساعدة في كل من إعدادات الطلقة الصفرية وعدد. بالنسبة للأداء الصفر بالرصاص، فمن المنطقي تصميم أنماط تشبه النص الذي ينظر إليه عن كثب أثناء الاحتجاج بالإشراف على الذات لأن النموذج لم ير أي شيء آخر. ا
لتدريب الخاضع للإشراف يسمح بمزيد من المرونة. إذا سمحنا بالرمز الرموز خارج المفردات PLM، فيمكن تكييف الأنماط بشكل أكثر مرونة لمصمم الخصوصيات PLM. الأنماط المتناقضة حيث يمكن أن يكون الرمز المميز أي ناقل مستمر من تلك التي يجب أن يتم فيها اختيار منفصل بين عناصر المفردات، ونحن نسمي أنماط طريقنا المستمرة (كونان). نقوم بتقييم كونان على معايير مدرجة للاستدلال المعجمي في السياق (LIIC) A.K.a. المستقلة المستقلة، وهي مهمة تفاهم لغة طبيعية صعبة مع بيانات تدريب صغيرة نسبيا. في مقارنة مباشرة مع الأنماط المنفصلة، يؤدي كونان باستمرار إلى تحسين الأداء، وضع حالة من الفن الجديد. تجربتنا تعطي رؤى قيمة على نوع النمط الذي يعزز أداء PLM على LIC ورفع أسئلة مهمة فيما يتعلق بفهم PLMS باستخدام أنماط النص.
تهدف الاستدلال العاطفة في المحادثات متعددة الدورات إلى التنبؤ بمشاعر المشارك في الدور التالي المقبل دون معرفة استجابة المشارك بعد، وهي خطوة ضرورية للتطبيقات مثل تخطيط الحوار. ومع ذلك، فإن التحدي الشديد لإدراك وسبب مشاعر المشاركين في المستقبل، بسبب عد
م وجود معلومات عن المستقبل من المستقبل. علاوة على ذلك، فمن الضروري استنتاج المشاعر لالتقاط خصائص الانتشار العاطفي في المحادثات، مثل الثبات والمعاجين. في هذه الدراسة، نركز على التحقيق في مهمة استنتاج المشاعر في محادثات متعددة الدورات من خلال نمذجة انتشار الدول العاطفية بين المشاركين في تاريخ المحادثة، واقتراح وحدة نمط تدرك المرسل إليه تلقائيا ما إذا كان المشارك يحتفظ الحالة العاطفية التاريخية أو تتأثر بالآخرين في المنعطف القادم المقبل. بالإضافة إلى ذلك، نقترح استراتيجية فرقة لتعزيز الأداء النموذجي. تظهر الدراسات التجريبية على ثلاث مجموعات محادثة محادثة مختلفة مختلفة فعالية النموذج المقترح على العديد من خطوط الأساس القوية.
يحقق نماذج اللغة التعلم المستندة عميقا (DL) أداء عال في مختلف المعايير لاستدلال اللغة الطبيعية (NLI).وفي هذا الوقت، يتلقى النهج الرمزية ل NLI اهتماما أقل.كلا النهجين (الرمزي و DL) لديهم مزاياهم وموضعاتهم.ومع ذلك، حاليا، لا توجد طريقة تجمع بينها في نظ
ام لحل مهمة NLI.لدمج أساليب التعلم الرمزي والعميقة، نقترح إطار استنتاجي يسمى NeuRallog، والذي يستخدم محرك الاستدلال المنطقي على حد سواء ونموذج لغة الشبكة العصبية لمحاذاة العبارة.نماذج إطار عملنا مهمة NLI كصورة بحث كلاسيكية وتستخدم خوارزمية البحث في شعاع البحث عن مسارات الاستدلال الأمثل.تظهر التجارب أن نظامنا المشترك ومنطق الاستدلال العصبي يحسن الدقة في مهمة NLI ويمكن أن تحقق دقة حديثة على مجموعات البيانات المريضة والمتوسطة.
يبدأ التفكير الاختلافي من بعض الملاحظات ويهدف إلى إيجاد التفسير الأكثر معقولا لهذه الملاحظات. لأداء الاختطاف، غالبا ما يستخدم البشر من الاستدلالات الزمنية والسببية، ومعرفة كيف يمكن أن يؤدي بعض الوضع الافتراضي إلى نتائج مختلفة. يقدم هذا العمل الدراسة
الأولى لكيفية تؤثر هذه المعرفة على المهمة NLI المختلة - التي تتكون في اختيار التفسير الأكثر احتمالا لملاحظات معينة. نحن ندرب نموذج اللغة المتخصصة LMI التي يتم تكليفها بإنشاء ما يمكن أن يحدث بعد ذلك من سيناريو افتراضي يتطور من حدث معين. بعد ذلك اقتراح نموذج متعدد المهام MTL لحل المهمة NLI المختلة، والذي يتوقع تفسير معقول من قبل) النظر في الأحداث المحتملة المختلفة الناشئة عن الفرضيات المرشحة - الأحداث الناتجة عن LMI - و B) اختيار واحد أكثر مماثلة إلى النتيجة التي لوحظت. نظهر أن نموذج MTL الخاص بنا يحسن أكثر من LMS من الفانيليا السابقة التي تم تدريبها مسبقا على NLI Paltrack NLI. يشير التقييم والتحليلات اليدوية لدينا إلى أن التعلم عن الأحداث القادمة المحتملة من سيناريوهات افتراضية مختلفة يدعم الاستدلال المختلف.
