ترغب بنشر مسار تعليمي؟ اضغط هنا

بيرت لا يمكن محاذاة الشخصيات

BERT Cannot Align Characters

224   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

في العمل السابق، فقد تبين أن بيرت يمكنه محاذاة الجمل المتبادلة بشكل كاف على مستوى الكلمة.نحن هنا التحقيق فيما إذا كان بإمكان بيرت أيضا أن تعمل أيضا كحاذاة على مستوى Char.اللغات التي تم فحصها هي اللغة الإنجليزية والإنجليزية المزيفة والألمانية واليونانية.نظهر أن اللغتين الوثيقة هي، فإن بيرت أفضل يمكن أن يحاذيها على مستوى الشخصية.يعمل BERT بالفعل بشكل جيد باللغة الإنجليزية إلى محاذاة اللغة الإنجليزية المزيفة، ولكن هذا لا يعمم اللغات الطبيعية إلى نفس المدى.ومع ذلك، يبدو أن قرب لغتين عامين عاملا.اللغة الإنجليزية ترتبط بالألمانية أكثر من اليونانية وينعكس ذلك في مدى تحريزه جيدا؛اللغة الإنجليزية إلى الألمانية أفضل من الإنجليزية إلى اليونانية.ندرس إجراءات متعددة وإظهار أن مصفوفات التشابه اللغات الطبيعية تظهر العلاقات الأضعفين بصرف النظر عن لغتين.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

غالبا ما تكون نماذج اللغة المدربة مسبقا مسبقا (PLMS) باهظة الثمن بشكل أساسي في الاستدلال، مما يجعلها غير عملية في مختلف تطبيقات العالم الحقيقي المحدودة. لمعالجة هذه المشكلة، نقترح مقاربة تخفيض رمزية ديناميكية لتسريع استنتاج PLMS، والتي تسمى Tr-Bert، والتي يمكن أن تتكيف مرونة عدد الطبقة من كل رمزي في الاستدلال لتجنب الحساب الزائد. خصيصا، تقوم Tr-Bert بتصوير عملية تخفيض الرمز المميز كأداة اختيار رمز تخطيط متعدد الخطوات وتعلم تلقائيا استراتيجية الاختيار عبر التعلم التعزيز. تظهر النتائج التجريبية على العديد من مهام NLP المصب أن Tr-Bert قادرة على تسريع بيرتف بمقدار 2-5 مرات لإرضاء متطلبات الأداء المختلفة. علاوة على ذلك، يمكن ل TR-Bert تحقيق أداء أفضل مع حساب أقل في مجموعة من المهام النصية الطويلة لأن تكييف رقم الطبقة على مستوى الرمز المميز يسرع بشكل كبير عملية انتباه الذات في plms. يمكن الحصول على شفرة المصدر وتفاصيل التجربة لهذه الورقة من https://github.com/thunlp/tr-bert.
أهداف المحاذاة الكامنة مثل CTC والفأس تحسن بشكل كبير نماذج الترجمة الآلية غير التلقائي.هل يمكنهم تحسين النماذج التلقائية أيضا؟نستكشف إمكانية تدريب نماذج الترجمة الآلية ذات الجهاز التلقائي بأهداف محاذاة كامنة، ومراقبة ذلك، في الممارسة العملية، ينتج هذ ا النهج نماذج التدهور.نحن نقدم شرحا نظريا لهذه النتائج التجريبية، وأثبت أن أهداف المحاذاة الكامنة غير متوافقة مع إجبار المعلم.
يهدف البحث إلى تحديد نوع وسمات الشخصيات الظاهرة في برامج الأطفال لقناة CN، و لتحقيق ذلك اخترنا المنهج الوصفي التحليلي الذي يعتمد على تحليل المحتوى كأداة للبحث و تم بناء شبكة لتحليل المضمون مؤلفة من (6) فئات رئيسة، و تم تطبيقها على (295) برنامج أطفال من برامج قناة CN و المسجلة على امتداد بث أسبوع كامل، و بالاعتماد على التكرارات و النسب المئوية تم التوصل إلى النتائج الآتية: من أهم الموضوعات التي تتناولها برامج الأطفال على قناة CN الموضوعات الاجتماعية و الخيالية. استخدمت اللغة العربية الفصحى في الموضوعات التي قدمتها برامج الأطفال. سيطرة الإنتاج الأجنبي على مصادر إنتاج برامج الأطفال. سيطرت الشخصية الذكورية على الشخصيات المقدمة في برامج أطفال قناة CN، و احتلت نسبة قدرها (%53.81) من مجمل الشخصيات الظاهرة. من أهم صفات الشخصيات الذكورية: قوي و شجاع، سعيد، و ذو مظهر عصري. من أهم سمات الشخصيات الأنثوية:المظهر العصري، سعيدة، واثقة من نفسها و شجاعة.
في هذا العمل، نقترح إطارا جديدا، برت التعلم المتبادل المتماثل التدرج (Gaml-Bert)، لتحسين الخروج المبكر من Bert.مساهمات Gaml-Bert هي طي ثنائي.نقوم بإجراء مجموعة من التجارب الطيارية، والتي توضح أن تقطير المعرفة المتبادلة بين الخروج الضحل والخروج العميق يؤدي إلى أداء أفضل لكليهما.من هذه الملاحظة، نستخدم التعلم المتبادل لتحسين عروض بيرت المبكرة المبكرة، أي نطلب من كل خروج من بيرت متعددة الخروج لتقطير المعرفة من بعضها البعض.ثانيا، نقترح GA، طريقة تدريب جديدة تقوم بمحاذاة التدرجات من تقطير المعرفة إلى خسائر الانتروبية.يتم إجراء تجارب واسعة النطاق على معيار الغراء، والذي يدل على أن لدينا Gaml-Bert يمكن أن تتفوق بشكل كبير على أحدث الطرق التي تخرج من أحدث الطرق (SOTA) في وقت مبكر.
تعد التعامل الدقيق مع أي نوع من أنواع الغموض مهمة رئيسية في معالجة اللغة الطبيعية، حيث وصلت إلى تقدير كبير مؤخرا بسبب تطوير نماذج اللغة التي تعتمد على السياق واستخدام Word أو Adgeddings.في هذا السياق، يهدف عملنا إلى تحديد كيفية ربط نموذج تمثيل اللغة الشعبي بمكافحة غموض الأسماء في العدد النحوي والجنس بلغات مختلفة.نظهر أن النماذج المدربة على لغة واحدة محددة تحقق نتائج أفضل لعملية الغموض من النماذج متعددة اللغات.أيضا، يتم تناول الغموض بشكل عام بشكل عام في العدد النحوي مما هو عليه في النوع الاجتماعي النحوي، حيث وصلت إلى قيم مسافة أكبر من واحد إلى آخر في مقارنات مباشرة من الحواس الفردية.تظهر النتائج الإجمالية أيضا أن مقدار البيانات اللازمة لتدريب نماذج أحادية التدريب وكذلك يجب عدم التقليل من التقديم.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا