ترغب بنشر مسار تعليمي؟ اضغط هنا

جيل عنوان الإعلان باستخدام نموذج لغة ملثم ذاتي

Ad Headline Generation using Self-Critical Masked Language Model

403   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

بالنسبة لأي موقع على شبكة الإنترنت للتجارة الإلكترونية، فهذا مشكلة غير خيالية تبني الإعلانات الدائمة التي تجذب المتسوقين.من الصعب اجتياز شريط الجودة الإبداعي للموقع، خاصة على نطاق واسع.وبالتالي نقترح حل برنامجي لتوليد عناوين إعلانات المنتج باستخدام محتوى البيع بالتجزئة.نقترح حالة من التطبيقات الفنية لطرق التدرج في سياسة التعلم (RL) على المحولات (Vaswani et al.، 2017) نماذج لغة ملثم مقرها (ديفلين وآخرون، 2019).تقوم طريقةنا بإنشاء العنوان الإعلاني من خلال تكييف مشترك على منتجات متعددة يرغب البائع في الإعلان.نوضح أن أسلوبنا تتفوق على أساليب المحولات الحالية و LSTM + RL في مقاييس تداخل وتدقيق الجودة.نظهر أيضا أن عناويننا النموذجية التي تم إنشاؤها تفوقت عناوين حقوق الإنسان المقدمة من حيث القواعد الناقدية والجودة الإبداعية على النحو المحدد بالتدقيق.

المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

مع التقدم في نماذج اللغة العصبية، تحول تركيز إجراءات الاختاذ اللغوية من النهج القائمة على الأجيال القائمة على الأجيال.في حين أن قدرة الحمولة الأخيرة في الحمولة مثيرة للإعجاب، تظل توليد النصوص الحقيقية مظاهرة تحديا.في هذه الورقة، نقوم بإعادة النظر في إجراء إخفاء التشريطات اللغوي المستندة إلى التحرير، مع فكرة أن نموذج لغة مانع يوفر حل خارج الرف.الطريقة المقترحة تلغي بناء القاعدة المضنية ولديها قدرة حمولة عالية للنموذج المستند إلى التحرير.يظهر أيضا أنه أكثر أمانا ضد الكشف التلقائي من الأسلوب القائم على الجيل أثناء تقديم سيطرة أفضل على إيقاف تشغيل سعة الحمولة / الحمولة الأمنية.
رسالة الالتزام هي وثيقة تلخص تغييرات شفرة المصدر باللغة الطبيعية. تظهر رسالة الالتزام الجيدة بوضوح تغييرات شفرة المصدر، لذلك يعزز هذا التعاون بين المطورين. لذلك، فإن عملنا هو تطوير نموذج يكتب تلقائيا رسالة الالتزام. تحقيقا لهذه الغاية، نقوم بإصدار مج موعات بيانات 345K تتكون من تعديل التعليمات البرمجية وارتكاب الرسائل في ست لغات برمجة (بيثون، PHP، GO، Java، JavaScript، و Ruby). على غرار نموذج الترجمة الآلية العصبية (NMT)، باستخدام DataSet، نطعم تعديل التعليمات البرمجية إلى إدخال التشفير ورسالة الالتزام إلى إدخال فك الترميز وقياس نتيجة رسالة الالتزام التي تم إنشاؤها مع BLEU-4. أيضا، نقترح طرق التدريب التالية لتحسين نتيجة توليد رسالة الالتزام: (1) طريقة لمعالجة المدخلات لإطعام تعديل التعليمات البرمجية إلى إدخال التشفير. (2) طريقة تستخدم الوزن الأولي مناسب لمجال التعليمات البرمجية لتقليل الفجوة في التمثيل السياقي بين لغة البرمجة (PL) واللغة الطبيعية (NL).
يعد الكشف عن الموقف على Twitter تحديا بشكل خاص بسبب الطول القصير لكل سقسقة، والتعايش المستمر لمصطلحات جديدة وعلاج التصنيف، وانحراف هيكل الجملة من النثر القياسي.تم عرض نماذج لغة ذات ضبطها باستخدام بيانات داخل المجال على نطاق واسع لتكون الحالة الجديدة للعديد من مهام NLP، بما في ذلك اكتشاف الموقف.في هذه الورقة، نقترح طريقة رواية متناصة قائمة بذاتها تعزز نموذج اللغة الملثم للكشف عن الموقف.بدلا من إخفاء الرمز المميز العشوائي، نقترح استخدام نسبة مرجحة للأحكام المرجحة لتحديد الكلمات ذات الموقف العالي ومن ثم نموذج آلية الاهتمام التي تركز على هذه الكلمات.نظهر أن نهجنا المقترح يتفوق على حالة الفنية من أجل الكشف عن البيانات حول بيانات تويتر حول الانتخابات الرئاسية الأمريكية 2020.
أشار العمل السابق إلى أن النماذج اللغوية المحددة مسبقا (MLMS) غير فعالة مثل تشفير المعجمات المعجمية والجملة العالمية خارج الرف، أي دون مزيد من ضبط الدقيقة بشكل جيد على NLI أو تشابه الجملة أو إعادة الصياغة المهام باستخدام بيانات المهام المشروحة وبعد ف ي هذا العمل، نوضح أنه من الممكن تحويل MLMS إلى تشفير معجمية وقضية فعالة حتى دون أي بيانات إضافية، والاعتماد ببساطة على الإشراف الذاتي. نقترح تقنية تعليمية بسيطة للغاية وسريعة وفعالة وفعالة، وتسمى برت مرآة، والتي تحول MLMS (على سبيل المثال، بيرت وروبرتا) إلى مثل هذه اللوائح في 20-30 ثانية مع عدم وجود إمكانية الوصول إلى المعرفة الخارجية الإضافية. تعتمد Mirror-Bert على أزواج سلسلة متطابقة وعزز قليلا كأمثلة إيجابية (I.E.، مرادف)، وتهدف إلى زيادة تشابهها أثناء ضبط الهوية ". نبلغ عن مكاسب ضخمة أكثر من MLMS Off-Relf مع Mirror-Bert كل من المستوى المعجمي والمهام على مستوى الجملة، عبر المجالات المختلفة ولغات مختلفة. وخاصة، في مشابه الجملة (STS) ومهام إستقبال الإجابة عن السؤال (QNLI)، فإن نموذجنا المرآة الإشراف على نفسه يطابق أداء نماذج Bertence-Bert من العمل السابق الذي يعتمد على بيانات المهام المشروح. أخيرا، نقوم بتحويل أعمق في الأعمال الداخلية لل MLMS، واقترح بعض الأدلة على سبب قيام هذا النهج بسيطة بسيطة بالمرآبة الرصيد بإعادة ترميز اللوائح المعجمية والعامة العامة الفعالة.
جعلت النماذج المدربة مسبقا مثل تمثيل التشفير ثنائي الاتجاه من المحولات (بيرت)، قفزة كبيرة إلى الأمام في مهام معالجة اللغة الطبيعية (NLP).ومع ذلك، لا تزال هناك بعض أوجه القصور في مهمة نمذجة اللغة المعقدة (MLM) التي يؤديها هذه النماذج.في هذه الورقة، نق دم أول رسم بياني متعدد الأنواع بما في ذلك أنواع مختلفة من العلاقات بين الكلمات.بعد ذلك، نقترح النموذج متعدد الرسوم البياني المعزز (MG-BERT) نموذجا يعتمد على بيرتف.تضمين MG-BERT تضمين الرموز الرموز أثناء الاستفادة من الرسم البياني الثابت متعدد الرسوم البيانية التي تحتوي على حوادث مشتركة عالمية في نصوص النص بجانب الحقائق العالمية الحقيقية العالمية حول الكلمات الموجودة في رسوم المعرفة.يستخدم النموذج المقترح أيضا رسم بياني جملة ديناميكية لالتقاط السياق المحلي بشكل فعال.تظهر النتائج التجريبية أن طرازنا يمكن أن يعزز بشكل كبير الأداء في مهمة الامتيازات.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا