ترغب بنشر مسار تعليمي؟ اضغط هنا

تمثيلات المعنى في الشبكات العصبية ل NLP: اقتراح أطروحة

Representations of Meaning in Neural Networks for NLP: a Thesis Proposal

337   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

الشبكات العصبية هي طريقة أحدثت لآلة التعلم للعديد من المشاكل في NLP.نجاحهم في الترجمة الآلية ومهام NLP الأخرى هي ظاهرة، لكن قابلية الترجمة الشفوية تحديا.نريد معرفة كيف تمثل الشبكات العصبية معنى.من أجل القيام بذلك، نقترح فحص توزيع المعنى في تمثيل المساحة المتجهة للكلمات في الشبكات العصبية المدربة لمهام NLP.علاوة على ذلك، نقترح النظر في نظريات المعنى المختلفة في فلسفة اللغة وإيجاد منهجية ستمكننا من توصيل هذه المجالات.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

لقد حقق مجال NLP تقدما كبيرا في بناء تعويضات المعنى.ومع ذلك، تم تجاهل جانب مهم من المعنى اللغوي، والمعنى الاجتماعي، إلى حد كبير.نقدم مفهوم المعنى الاجتماعي ل NLP ومناقشة كيفية إبلاغ رؤى Sociolinguics بالعمل على التعلم في التمثيل في NLP.نحدد أيضا التحديات الرئيسية لهذا الخط الجديد من البحث.
مجردة ⚠ تحتوي هذه الورقة على مطالبات ونواتج النماذج المسيئة في الطبيعة. عند التدريب على الزحف الكبيرة وغير المرفقة من الإنترنت، تلتقط نماذج اللغة وإعادة إنتاج جميع أنواع التحيزات غير المرغوب فيها التي يمكن العثور عليها في البيانات: أنها غالبا ما تولد لغة عنصرية أو جنسية أو عنيفة أو غير سامة. نظرا لأن النماذج الكبيرة تتطلب ملايين الأمثلة التدريبية لتحقيق أداء جيد، فمن الصعب منعها تماما من التعرض لمثل هذا المحتوى. في هذه الورقة، نوضح أولا في العثور على إيجاد مفاجئ: تعترف نماذج اللغة المحددة، إلى درجة كبيرة، تحيزاتهم غير المرغوب فيها وسمية المحتوى الذي ينتجونه. نشير إلى هذه القدرة كتشخيص الذاتي. بناء على هذا النتيجة، نقترح خوارزمية فك تشفير ذلك، بالنظر إلى وصف نصي فقط للسلوك غير المرغوب فيه، يقلل من احتمال إنتاج نموذج لغة ينتج نصا مشكلة. نشير إلى هذا النهج كدخل ذاتي. لا يعتمد الدخل الذاتي على قوائم Word يدويا يدويا، ولا يتطلب الأمر أي بيانات تدريبية أو تغييرات على معلمات النموذج. في حين أننا لا نقضاء بأي حال من الأحوال قضية نماذج اللغة التي تولد نص متحيز، فإننا نعتقد أن نهجنا خطوة مهمة في هذا الاتجاه
يحقق إطار التشفير - فك التشفير النتائج الحديثة النتائج في مهام توليد المفاتيح (KG) من خلال التنبؤ بكل من الرافعات القصيرة الحالية التي تظهر في المستند المصدر والمشابط الغياب التي لا تفعل ذلك. ومع ذلك، فإن الاعتماد فقط على المستند المصدر يمكن أن يؤدي إلى توليد قواعد الرماية الغائب لا يمكن السيطرة عليها وغير دقيقة. لمعالجة هذه المشكلات، نقترح طريقة رواية قائمة على الرسم البياني يمكنها التقاط المعرفة الصريحة من المراجع ذات الصلة. يتمتع نموذجنا أولا بتستريح بعض أزواج المفاتيح المستندات التي تشبه المستند المصدر من مؤشر محدد مسبقا كمراجع. ثم يتم بناء رسم بياني غير متجانس لالتقاط العلاقات مع مستويات مختلفة من الحبيبية المستند المصدر والمراجع المستردة لها. لتوجيه عملية فك التشفير، يتم تقديم اهتمام هرمي وآلية النسخ، والتي تنسخ مباشرة الكلمات المناسبة من كل من المستند المصدر ومراجعها بناء على أهميتها وأهميتها. تظهر النتائج التجريبية على معايير KG متعددة أن النموذج المقترح يحقق تحسينات كبيرة ضد نماذج خط الأساس الأخرى، خاصة فيما يتعلق بالتنبؤ الغياب بالصيغة الهادفة.
تعتمد معالجة شفرة المصدر بشكل كبير على الأساليب المستخدمة على نطاق واسع في معالجة اللغة الطبيعية (NLP)، ولكنها تنطوي على تفاصيل يجب مراعاتها في الاعتبار لتحقيق جودة أعلى.مثال على هذا الخصوصية هو أن دلالات متغير محددة ليس فقط باسمها ولكن أيضا من خلال السياقات التي يحدث فيها المتغير.في هذا العمل، نطور embeddings الديناميكي، وهي آلية متكررة تضبط الدلالات المستفادة للمتغير عند حصولها على مزيد من المعلومات حول دور المتغير في البرنامج.نظهر أن استخدام المدينات الديناميكية المقترحة يحسن بشكل كبير من أداء الشبكة العصبية المتكررة، في إكمال التعليمات البرمجية ومهام إصلاح الأخطاء.
المهمة Sereval 2021 Semeval 5: الكشف عن الأمور السامة هي مهمة تحديد المواقف المسيح السامة في النص، والتي توفر أداة أوتوماتيكية قيمة للمحتويات عبر الإنترنت المعتدلة.هذه الورقة تمثل طريقة المركز الثاني للمهمة، وفريق مناهضين.في حين يعتمد نهج واحد على ال جمع بين أساليب التضمين المختلفة لاستخراج التمثيلات الدلالية والمنظمات المختلفة للكلمات في السياق؛يستخدم الآخر بيانات إضافية مع التدريب الذاتي المخصص قليلا، وهي تقنية تعليمية شبه إشراف، لمشاكل علامات التسلسل.يستفيد كل من بهيئاتنا نموذجا قويا لغة قوية، والتي تم ضبطها بشكل جيد على مهمة تصنيف سامة.على الرغم من أن الأدلة التجريبية تشير إلى فعالية أعلى من النهج الأول من المرتبة الثانية، فإن الجمع بينها يؤدي إلى أفضل النتائج لدينا من 70.77 F1 النتيجة على اختبار DataSet.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا