أدت نماذج اللغة المدربة مسبقا إلى مكاسب كبيرة على مجموعة واسعة من مهام معالجة اللغة الطبيعية (NLP)، ولكنها تبين أن قيود لمهام توليد اللغة الطبيعية مع متطلبات عالية الجودة على الإخراج، مثل جيل العمولة والإعلان توليد الكلمات الرئيسية. في هذا العمل، نقد
م تصفية المعرفة الرواية وشبكة تعليمية مرافقة (KFCNET) التي تشير إلى معرفة خارجية وتحقق أداء أفضل من الجيل. على وجه التحديد، نقترح نموذج مرشح يستند إلى BERT لإزالة المرشحين ذوي الجودة المنخفضة، وتطبيق التعلم المقاوم للتناقض بشكل منفصل لكل من التشفير والكشف، داخل بنية فك التشفير العامة - فك التشفير. تساعد الوحدة النمطية للتناقض في التشفير على التقاط دلالات استهداف عالمية أثناء الترميز، وتعزز وحدة فك ترميز وحدة فك الترميز فائدة النماذج الأولية المستردة أثناء تعلم الملامح العامة. تجارب واسعة النطاق في معيار Commongen تشير إلى أن نموذجنا يتفوق على الحالة السابقة للفنية من قبل هامش كبير: +6.6 نقطة (42.5 مقابل 35.9) ل BLU-4، +3.7 نقطة (33.3 مقابل 29.6) للتوابل، و + 1.3 نقطة (18.3 مقابل 17.0) من أجل عصير التفاح. نتحقق مزيدا من فعالية الوحدة النمطية المقنعة المقترحة على توليد الكلمات الرئيسية للإعلان، وإظهار أن نموذجنا له قيمة تجارية محتملة.
النعالة عبارة عن مبالغة متعمدة وإبداعية لا تؤخذ حرفيا.على الرغم من كل مكانه في الحياة اليومية، فإن الاستكشافات الحسابية من النعالة نادرة.في هذه الورقة، نتعامل مع المهمة غير المستكشفة والتحديات: توليد بطول الأغلبية على مستوى الجملة.نبدأ بنمط نصي تمثيل
ي للتكثيف والدراسة بشكل منهجي العلاقات الدلالية (المنطقية وغير المصنفة) بين كل مكون في مثل هذه المفرط.بعد ذلك، فإن الاستفادة من المنطقي والاستدلال المضاد لإنتاج مرشحين غاضبين يستند إلى نتائجنا من النمط، وتدريب الأقراص العصبية على الترتيب وتحديد Hyperboles عالية الجودة.تبين التقييمات التلقائية والبشرية أن طريقة جيلنا قادرة على توليد فرط النعثال مع ارتفاع معدل النجاح والكثافة والتموية والإبداع.
يتم تعريف المنزول على أنه المعرفة التي يوافق عليها الجميع. ومع ذلك، فإن أنواع معينة من المعرفة المنطقية مرتبطة بالثقافة والمواقع الجغرافية ويتم تقاسمها فقط محليا. على سبيل المثال، تختلف مشاهد مراسم الزفاف عبر المناطق الناجمة عن الجمارك المختلفة التي
تتأثر بالعوامل التاريخية والدينية. ومع ذلك، حذفت هذه الخصائص الإقليمية عموما في العمل السابق. في هذه الورقة، نقوم بإنشاء مجموعة بيانات منطق مرئية للبصرية (GD-VCR) لاختبار قدرة النماذج في الرؤية واللغة على فهم المنطقية الثقافية والرائعة. على وجه الخصوص، نقوم بدراسة نماذج للرؤية واللغدية التي من بين الفنون، و Visualbert و Vilbert تدربت على VCR، وهو معيار قياسي مع الصور في المقام الأول من المناطق الغربية. بعد ذلك تقييم مدى جودة أن تعميم النماذج المدربة للإجابة على الأسئلة في GD-VCR. نجد أن أداء كلا النماذج للمناطق غير الغربية بما في ذلك شرق آسيا وجنوب آسيا وأفريقيا أقل بكثير من تلك الخاصة بالمنطقة الغربية. نقوم بتحليل الأسباب الكامنة وراء تباين الأداء وتجد أن فجوة الأداء أكبر على أزواج ضمنيا: 1) تشعر بالقلق من السيناريوهات المتعلقة بالثقافة، على سبيل المثال، حفلات الزفاف، الأنشطة الدينية، والمهرجانات؛ 2) تتطلب منطق المنطقي الجغرافي الرفيع المستوى بدلا من التصور والاعتراف بالترتيب المنخفض. يتم إصدار DataSet و Code في https://github.com/wadeyin9712/gd-vcr.
وقد حققت نماذج اللغة المدربة على نطاق واسع (LMS) أداء مستوى بشري على اتساع مهام فهم اللغة.ومع ذلك، فإن التقييمات فقط بناء على أداء المهام النهائي ألقت الضوء قليلا على الآلات القدرة الحقيقية في فهم اللغة والتفكير.في هذه الورقة، نسلط الضوء على أهمية تق
ييم عملية التفكير الأساسية بالإضافة إلى الأداء النهائي.نحو هذا الهدف، نقدم المنطق المتدرج في الفيزياء البديهية (الرحلة)، وهناك مجموعة بيانات المنطق الرواية المنطقية مع شروح كثيفة تمكن التقييم متعدد المتدرج لعملية التفكير الآلات.تظهر نتائج التجريبية الخاصة بنا أنه في حين أن LMS كبيرة يمكن أن تحقق أداء متطورا للغاية، إلا أنهم يكافحون لدعم تنبؤاتهم بأدلة داعمة صالحة.ستحفز مجموعة بيانات الرحلة ونتائج أساسية لدينا لتحفيز تقييم يمكن التحقق منه من المنطق المنطقي وتسهيل البحوث المستقبلية نحو تطوير نماذج أفضل لغات وتفكير اللغة.
تدوين المعرفة المنطقية في الآلات هو هدف طويل الأطول من الذكاء الاصطناعي. في الآونة الأخيرة، تم إحراز تقدم كبير نحو هذا الهدف مع تقنيات بناء قاعدة المعرفة التلقائية (KB). ومع ذلك، فإن هذه التقنيات تركز في المقام الأول على اكتساب بيانات KB الإيجابية (T
RUE)، على الرغم من أن البيانات السلبية (الخاطئة) غالبا ما تكون مهمة أيضا للمنطق التمييزي على متن العموم KBS. كخطوة أولى نحو الأخير، تقترح هذه الورقة NEGATER، وهو إطار يصنف السلبيات المحتملة في العمولة KBS باستخدام نموذج لغة سياقي (LM). الأهم من ذلك، حيث لا تحتوي معظم KBS على السلبيات، تعتمد Negater فقط على المعرفة الإيجابية في LM ولا تتطلب أمثلة سلبية للحقيقة. توضح التجارب أنه مقارنة بنهج تكبير البيانات المتعاقبة متعددة النزاع، فإن نطاط غلة السلبيات التي تعتبر أكثر حكما متماسكا ومفيدا --- تؤدي إلى تحسينات دقة ذات دلالة إحصائية في مهمة استكمال KB صعبة وتؤكد أن المعرفة الإيجابية في LMS يمكن إعادة -العرضة "لتوليد المعرفة السلبية.
أدت طرازات اللغة الكبيرة المدربة مسبقا (PLMS) إلى نجاح كبير في مهام الإجابة على الأسئلة المختلفة (QA) في أزياء نهاية إلى نهاية.ومع ذلك، تم إيلاء القليل من الاهتمام وفقا لمعرفة المعرفة المنطقية لتمييز مهام ضمان الجودة هذه.في هذا العمل، اقترحنا تصنيف ا
لدلالات اللازمة لهذه المهام باستخدام SocialIQA كمثال.بناء على فئات المعرفة الاجتماعية الخاصة بنا المسمى DataSet على رأس SocialiQa، نربط نماذج QA العصبية لدمج فئات المعرفة الاجتماعية هذه ومعلومات العلاقة بين قاعدة المعرفة.على عكس العمل السابق، نلاحظ نماذجنا مع تصنيفات دلالية للمعرفة الاجتماعية يمكن أن تحقق أداء مماثل مع نموذج بسيط نسبيا وحجم أصغر مقارنة بالمناهج المعقدة الأخرى.
تم حل معايير المنطق المنطقي إلى حد كبير عن طريق نماذج لغة ضبط دقيقة. الجانب السلبي هو أن الضبط الدقيق قد يتسبب في طرح نماذج إلى البيانات الخاصة بمهام المهام وبالتالي انسوا معرفتهم المكتسبة خلال التدريب المسبق. تعمل الأعمال الحديثة فقط على اقتراح تحدي
ثات نموذجية خفيفة الوزن حيث قد تمتلك النماذج بالفعل معرفة مفيدة من الخبرة السابقة، لكن التحدي لا يزال في فهم الأجزاء وإلى أي مدى يجب أن يتم تنقيح النماذج بمهمة معينة. في هذه الورقة، نقوم بالتحقيق في نماذج تتعلم من مجموعات بيانات منطق المنطقية. نقيس تأثير ثلاث طرق تكييف مختلفة عن تعميم ودقة النماذج. تظهر تجاربنا مع نماذجين أن الضبط الدقيق يؤدي بشكل أفضل، من خلال تعلم كل من المحتوى والهيكل المهمة، ولكنه يعاني من التجمع المحدود والمحدود لإجابات جديدة. نلاحظ أن طرق التكيف البديلة مثل ضبط البادئة لها دقة قابلة للمقارنة، ولكن تعميم أفضل من الإجابات غير المرئية وهي أكثر قوة لانشقاقات الخصومة.
منطق العموم الزمني هي مهمة صعبة لأنها تتطلب المعرفة الزمنية عادة غير صريحة في النص.في هذا العمل، نقترح نموذج فرقة لسبب المنظمات الزمنية.يعتمد نموذجنا على تمثيلات سياقية مدربة مسبقا من نماذج اللغة القائمة على المحولات (IE، Bert)، وعلى مجموعة متنوعة من
طرق التدريب لتعزيز تعميم النموذج: 1) ضبط غرامة متعددة الخطوات باستخدام المهام العاطفية المحددة بعناية ومجموعات البيانات، و2) مهمة نموذجية مصممة مصممة خصيصا له مهمة تهدف إلى التقاط معرفة العمليات الزمنية.يتفوق نموذجنا إلى حد كبير على نهج ضبط الدقيقة القياسية والقواعد الأساسية القوية على DataSet MC-Taco.
يتطلب التواصل السلس والفعال القدرة على أداء استنتاج المناشد الكامن أو الصريح. يركز معايير التفكير في المناولة (مثل Socialiqa و Commonsenseqa) بشكل رئيسي على المهمة التمييزية المتمثلة في اختيار الإجابة الصحيحة من مجموعة من المرشحين، ولا تنطوي على تولي
د لغة تفاعلية كما هو الحال في الحوار. علاوة على ذلك، فإن مجموعات بيانات الحوار الحالية لا تركز صراحة على عرض المنطقي كجايت. في هذه الورقة، نقدم دراسة تجريبية للعموم في توليد استجابة الحوار. نحن أولا استخراج السيارات الحوارات العمومية من مجموعات بيانات الحوار الموجودة من خلال الاستفادة من Congalnet، الرسم البياني المعرفة للعموم. علاوة على ذلك، بناء على السياقات الاجتماعية / المواقف في Socialiqa، نجمع مجموعة بيانات حوار جديدة مع حوارات 25 كيلو بايت تهدف إلى عرض العمولة الاجتماعية في بيئة تفاعلية. نقوم بتقييم نماذج توليد الاستجابة المدربة باستخدام مجموعات البيانات هذه والعثور على النماذج المدربة على كلا من المستخرجة وبياناتنا التي تم جمعها تنتج الردود التي تظهر باستمرار المزيد من المنطقي من الأساس. أخيرا، نقترح نهج للتقييم التلقائي للعموم التي تعتمد على ميزات مشتقة من نماذج النقدية واللغة المدربة مسبقا وحوار الحوار، وتظهر ارتباطا معقولا بالتقييم البشري لجودة الردود.
إن استنتاج المنطقي لفهم وشرح اللغة البشرية هي مشكلة بحثية أساسية في معالجة اللغة الطبيعية. يطرح المشرف على المحادثات الإنسانية تحديا كبيرا لأنه يتطلب التفاهم السياقي والتخطيط والاستدلال والعديد من جوانب المنطق بما في ذلك التفكير السببية والزمان والعم
وم. في هذا العمل، نقدم عصير التفاح - مجموعة بيانات مفيدة يدويا تحتوي على تفسيرات حوار دولي في شكل ثلاثة توائم في ثلاثة أضعاف تستنتج المعرفة الصريحة باستخدام استنتاج المناشد السياقي. يمكن أن يؤدي استخراج التفسيرات الغنية من المحادثات إلى تحسين العديد من التطبيقات المصب. يتم تصنيف ثلاثة توائم مشروح حسب نوع المعرفة المنطقية الحالية (على سبيل المثال، السببية، الشرطية، الزمنية). لقد أنشأنا ثلاث مهام مختلفة مكيفة على مجموعة البيانات المشروحة: الاستدلال اللغوي الطبيعي على مستوى الحوار، واستخراج تمتد، واختيار سبان متعدد الخيارات. النتائج الأساسية التي تم الحصول عليها مع النماذج القائمة على المحولات تكشف أن المهام صعبة، مما يمهد الطريق للبحث في المستقبل الواعدة. تتوفر DataSet وتطبيقات الأساس علنا في https://github.com/declare-lab/cider.
