في الآونة الأخيرة، تم تحقيق أداء مثير للإعجاب على مختلف مهام فهم اللغة الطبيعية من خلال دمج بناء الجملة والمعلومات الدلالية في النماذج المدربة مسبقا، مثل بيرت وروبرتا.ومع ذلك، يعتمد هذا النهج على ضبط النماذج الدقيقة الخاصة بالمشكلات، وعلى نطاق واسع، تظهر نماذج BERT-يشبئون الأداء، وهي غير فعالة، عند تطبيقها على مهام مقارنة التشابه غير المدعومة.تم اقتراح الحكم - بيرت (SBERT) كطريقة تضمين عقوبة عامة للأغراض العامة، مناسبة لكل من مقارنة التشابه والمهام المصب.في هذا العمل، نظهر أنه من خلال دمج المعلومات الهيكلية في SBERT، فإن النموذج الناتج يتفوق على SBERTT وتميز الجملة العامة السابقة على مجموعات بيانات التشابه الدلالي غير المنصوص عليها ومهام تصنيف النقل.
Recently, impressive performance on various natural language understanding tasks has been achieved by explicitly incorporating syntax and semantic information into pre-trained models, such as BERT and RoBERTa. However, this approach depends on problem-specific fine-tuning, and as widely noted, BERT-like models exhibit weak performance, and are inefficient, when applied to unsupervised similarity comparison tasks. Sentence-BERT (SBERT) has been proposed as a general-purpose sentence embedding method, suited to both similarity comparison and downstream tasks. In this work, we show that by incorporating structural information into SBERT, the resulting model outperforms SBERT and previous general sentence encoders on unsupervised semantic textual similarity (STS) datasets and transfer classification tasks.
المراجع المستخدمة
https://aclanthology.org/
نظرا لتطوير التعلم العميق، حققت مهام معالجة اللغة الطبيعية تقدم كبيرا من خلال الاستفادة من تمثيل التشفير الثنائي الاتجاه من المحولات (بيرت). الهدف من استرجاع المعلومات هو البحث في أكثر النتائج ذات الصلة لاستعلام المستخدم من مجموعة كبيرة من المستندات.
أدت مؤخرا مؤخرا الرسوم البيانية تم التنبؤ بمعنى التجريدي المعني (AMR) باستخدام نماذج محولات تسلسل التسلسل المدربة مسبقا إلى تحسينات كبيرة على معايير تحليل AMR. هذه المحللون بسيطة وتجنب النمذجة الصريحة للهيكل ولكن تفتقر إلى خصائص مرغوبة مثل ضمانات الر
تضع الكشف عن الشائعات على وسائل التواصل الاجتماعي نماذج لغة مدربة مسبقا (LMS)، مثل Bert، والميزات المساعدة، مثل التعليقات، قيد الاستخدام. ومع ذلك، من ناحية، فإن مجموعات بيانات الكشف عن الشائعات في الشركات الصينية مع تعليقات نادرة؛ من ناحية أخرى، فإن
ينطوي تقسيم الجملة تجزئة جملة إلى جملتين أقصرين أو أكثر. إنه مكون رئيسي لبسط الجملة، وقد ثبت أن تساعد الفهم البشري وهي خطوة مسبقة مسبقة مسبقة مفيدة لمهام NLP مثل استخراج التلخيص والعلاقات. في حين أن العديد من الطرق والجماعات البيانات المقترحة قد اقتر
إن الاستدلال اللغوي الطبيعي هو طريقة لإيجاد الاستدلالات في نصوص اللغة.فهم معنى الجملة واستدلالها أمر ضروري في العديد من تطبيقات معالجة اللغة.في هذا السياق، نعتبر مشكلة الاستدلال بلغة Dravidian، مالايالام.تدرب شبكات سيامي أزواج فرضية النص مع Adgedding