ترغب بنشر مسار تعليمي؟ اضغط هنا

الهيكل- دراسة جملة التشفير في شبكة سيامي القائمة على بيرت

Structure-aware Sentence Encoder in Bert-Based Siamese Network

341   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

في الآونة الأخيرة، تم تحقيق أداء مثير للإعجاب على مختلف مهام فهم اللغة الطبيعية من خلال دمج بناء الجملة والمعلومات الدلالية في النماذج المدربة مسبقا، مثل بيرت وروبرتا.ومع ذلك، يعتمد هذا النهج على ضبط النماذج الدقيقة الخاصة بالمشكلات، وعلى نطاق واسع، تظهر نماذج BERT-يشبئون الأداء، وهي غير فعالة، عند تطبيقها على مهام مقارنة التشابه غير المدعومة.تم اقتراح الحكم - بيرت (SBERT) كطريقة تضمين عقوبة عامة للأغراض العامة، مناسبة لكل من مقارنة التشابه والمهام المصب.في هذا العمل، نظهر أنه من خلال دمج المعلومات الهيكلية في SBERT، فإن النموذج الناتج يتفوق على SBERTT وتميز الجملة العامة السابقة على مجموعات بيانات التشابه الدلالي غير المنصوص عليها ومهام تصنيف النقل.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

نظرا لتطوير التعلم العميق، حققت مهام معالجة اللغة الطبيعية تقدم كبيرا من خلال الاستفادة من تمثيل التشفير الثنائي الاتجاه من المحولات (بيرت). الهدف من استرجاع المعلومات هو البحث في أكثر النتائج ذات الصلة لاستعلام المستخدم من مجموعة كبيرة من المستندات. على الرغم من أن نماذج استرجاع مقرها بيرت أظهرت نتائج ممتازة في العديد من الدراسات، إلا أن هذه النماذج تعاني عادة من الحاجة إلى كميات كبيرة من الحسابات و / أو مسافات تخزين إضافية. في ضوء العيوب، يتم اقتراح نموذج استرجاع منظم في سيامي في بيرت (Bess) في هذه الورقة. لا يرث BESS فقط مزايا نماذج اللغة المدربة مسبقا، ولكن يمكن أيضا إنشاء معلومات إضافية لتعويض الاستعلام الأصلي تلقائيا. علاوة على ذلك، يتم تقديم استراتيجية تعليم التعزيز لجعل النموذج أكثر قوة. وفقا لذلك، نقيم BESS على ثلاثة كوربورا عامة المتاحة، وتتضح النتائج التجريبية كفاءة نموذج الاسترجاع المقترح.
أدت مؤخرا مؤخرا الرسوم البيانية تم التنبؤ بمعنى التجريدي المعني (AMR) باستخدام نماذج محولات تسلسل التسلسل المدربة مسبقا إلى تحسينات كبيرة على معايير تحليل AMR. هذه المحللون بسيطة وتجنب النمذجة الصريحة للهيكل ولكن تفتقر إلى خصائص مرغوبة مثل ضمانات الر سوم البيانية بشكل جيد أو محاذاة الرسم الرسم البياني المدمج. في هذا العمل، نستكشف دمج نماذج لغة التسلسل العامة المدربة مسبقا ونهج بناء على الهيكل. نغادر من نظام انتقال مقره مؤشر واقتراح مجموعة انتقالية مبسطة، مصممة لتحسين استغلال نماذج اللغة المدربة مسبقا للضبط الناعم الهيكل. نحن نستكشف أيضا نمذجة ولاية المحللين داخل بنية فك التشفير المدربة مسبقا واستراتيجيات المفردات المختلفة لنفس الغرض. نحن نقدم مقارنة مفصلة مع التقدم المحرز الأخير في تحليل عمرو وإظهار أن المحلل المحلل المقترح يحتفظ بالخصائص المرغوبة للمناهج السابقة القائمة على الانتقال، بينما تكون أكثر بساطة والوصول إلى حالة التحليل الجديدة للفن AMR 2.0، دون الحاجة إلى إعادة الرسم البياني الفصداء.
تضع الكشف عن الشائعات على وسائل التواصل الاجتماعي نماذج لغة مدربة مسبقا (LMS)، مثل Bert، والميزات المساعدة، مثل التعليقات، قيد الاستخدام. ومع ذلك، من ناحية، فإن مجموعات بيانات الكشف عن الشائعات في الشركات الصينية مع تعليقات نادرة؛ من ناحية أخرى، فإن التفاعل المكثف من الاهتمام على النماذج القائمة على المحولات مثل بيرت قد يعيق تحسين الأداء. لتخفيف هذه المشاكل، نبني مجموعة بيانات جديدة من المدونات الصغيرة الصينية تسمى Weibo20 من خلال جمع الوظائف والتعليقات المرتبطة بها من سينا ​​ويبو واقترح فرقة جديدة تسمى Stanker (Bracking Network بناء على الانتباه ملثمين). تتبنى Stanker نماذج برت ملثمين من اهتمامات اثنين من المحبوسين على مستوى تشفير قاعدة. على عكس الخطابة الأصلية، يتخذ نموذج LGAM-Bert الجديد الخاص بنا تعليقات كملفات مساعدة مهمة ويعتد على الانتباه بين الوظائف والتعليقات على الطبقات المنخفضة. أظهرت التجارب على Weibo20 وثلاث مجموعات بيانات وسائل التواصل الاجتماعي الحالية أن الستائر تفوقت على جميع النماذج المقارنة، وخاصة ضرب الدولة القديمة في مجموعة بيانات Weibo.
ينطوي تقسيم الجملة تجزئة جملة إلى جملتين أقصرين أو أكثر. إنه مكون رئيسي لبسط الجملة، وقد ثبت أن تساعد الفهم البشري وهي خطوة مسبقة مسبقة مسبقة مفيدة لمهام NLP مثل استخراج التلخيص والعلاقات. في حين أن العديد من الطرق والجماعات البيانات المقترحة قد اقتر حت لتطوير نماذج تقسيم الجملة، فقد تم إيلاء القليل من الاهتمام لكيفية تفاعل تقسيم الجملة مع هيكل الخطاب. في هذا العمل، نركز على الحالات التي يحتوي فيها نص الإدخال على اتصال خطاب، والتي نشير إليها كقامة عقوبة قائمة على الخطاب. نقوم بإنشاء مجموعات بيانات صناعية وعضوية لتقسيم الخطاب واستكشاف طرق مختلفة للجمع بين مجموعات البيانات هذه باستخدام بنية نموذجية مختلفة. نظهر أن نماذج خطوط الأنابيب التي تستخدم هيكل الخطاب للتوسط في جملة تقسيم النماذج المنفقة المناسبة في تعلم الطرق المختلفة للتعبير عن علاقة خطاب ولكن توليد نص أقل نحوية؛ توفر تلك البيانات الاصطناعية على نطاق واسع أساسا أفضل للتعلم من البيانات العضوية النطاق الصغيرة؛ وهذا التدريب على التركيز على الخطاب، وليس على بيانات تقسيم الجملة العامة يوفر أساسا أفضل لتقسيم الخطاب.
إن الاستدلال اللغوي الطبيعي هو طريقة لإيجاد الاستدلالات في نصوص اللغة.فهم معنى الجملة واستدلالها أمر ضروري في العديد من تطبيقات معالجة اللغة.في هذا السياق، نعتبر مشكلة الاستدلال بلغة Dravidian، مالايالام.تدرب شبكات سيامي أزواج فرضية النص مع Adgedding s Word و Argeddings اللازم، ويتم تقييم النتائج مقابل مقاييس التصنيف للتصنيف الثنائي في دروس الاستقصاء والتناقض.توفر XLM-R AMBEBINGS القائم على الهندسة المعمارية السيامية باستخدام الوحدات المتكررة الدائرية وشبكات الذاكرة القصيرة الأجل الثنائية لفترة طويلة نتائج واعدة لمشكلة التصنيف هذه.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا