الملخص نقدم إطارا جديدا للملقة، دلالات الحدث العصبي (NES)، لفهم اللغة التركيبية التركيبية.يعامل نهجنا جميع الكلمات كصفوفات مصنوعة من التصنيف لتشكيل عقوبة ذات معنى بضرب درجات الإخراج.تنطبق هذه المصنفات على المناطق المكانية (الأحداث) ويمشر NES هيكلها الدلالي من اللغة عن طريق توجيه الأحداث إلى مدخلات حجة مصنف مختلفة عن طريق الاهتمام الناعم.NES هي نهاية قابلة للتدريب من خلال نزول التدرج مع الحد الأدنى من الإشراف.نقيم طريقةنا على مهام اللغة التركيبية المتراكمة في إعدادات الاصطناعية والواقعية التي تسيطر عليها.توفر NES إمكانية تعميم أقوى من الأطر التركيبية القياسية القائمة على الوظائف، مع تحسين الدقة على الأساليب العصبية الحديثة في مهام اللغة العالمية الحقيقية.
Abstract We present a new conjunctivist framework, neural event semantics (NES), for compositional grounded language understanding. Our approach treats all words as classifiers that compose to form a sentence meaning by multiplying output scores. These classifiers apply to spatial regions (events) and NES derives its semantic structure from language by routing events to different classifier argument inputs via soft attention. NES is trainable end-to-end by gradient descent with minimal supervision. We evaluate our method on compositional grounded language tasks in controlled synthetic and real-world settings. NES offers stronger generalization capability than standard function-based compositional frameworks, while improving accuracy over state-of-the-art neural methods on real-world language tasks.
المراجع المستخدمة
https://aclanthology.org/
البشر مرنين بشكل ملحوظ عند فهم جمل جديدة تشمل مجموعات من المفاهيم التي لم تصادفها من قبل. وقد أظهر العمل الحديث أنه في حين أن الشبكات العميقة يمكن أن تحاكي بعض قدرات اللغة البشرية عند تقديمها مع جمل جديدة، فإن الاختلاف المنهجي يكشف عن القيود في قدرات
نقدم خوارزمية تدريبية مستهدفة بسيطة ولكنها فعالة (TAT) لتحسين التدريب الخصم لفهم اللغة الطبيعية.الفكرة الرئيسية هي أن تخطئ الأخطاء الحالية وتحديد أولويات التدريب على الخطوات إلى حيث يخطئ النموذج أكثر.تظهر التجارب أن TAT يمكن أن تحسن بشكل كبير الدقة ع
يتم استخدام تقطير المعرفة (KD) على نطاق واسع لضغط ونشر نماذج لغة كبيرة مدربة مسبقا على أجهزة EDGE لتطبيقات العالم الحقيقي.ومع ذلك، فإن مساحة البحث واحدة مهملة هي تأثير الملصقات الصاخبة (التالفة) على KD.نقدم، إلى حد علمنا، أول دراسة حول الملكية الدماغ
اقترح مخطط التعلم الخاص Texthide مؤخرا لحماية البيانات النصية الخاصة أثناء مرحلة التدريب عبر ترميز المثيل المزعوم.نقترح هجوم إعادة الإعمار الجديد لكسر Texthide من خلال استعادة بيانات التدريب الخاص، وبالتالي تكشف النقاب عن مخاطر الخصوصية على ترميز الم
يمكن التفكير في رواية القصص، سواء عبر الخرافات أو التقارير الإخبارية أو الأفلام الوثائقية أو المذكرات، باعتبارها اتصال بالأحداث المثيرة للاهتمام والذين يرتبطون معا عملية ملموسة. من المستحسن استخراج سلاسل الحدث التي تمثل هذه العمليات. ومع ذلك، لا تزال