ترغب بنشر مسار تعليمي؟ اضغط هنا

إحباط إذخانيا لغوي سهلة تحرير مع نموذج لغة ملثم

Frustratingly Easy Edit-based Linguistic Steganography with a Masked Language Model

290   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

مع التقدم في نماذج اللغة العصبية، تحول تركيز إجراءات الاختاذ اللغوية من النهج القائمة على الأجيال القائمة على الأجيال.في حين أن قدرة الحمولة الأخيرة في الحمولة مثيرة للإعجاب، تظل توليد النصوص الحقيقية مظاهرة تحديا.في هذه الورقة، نقوم بإعادة النظر في إجراء إخفاء التشريطات اللغوي المستندة إلى التحرير، مع فكرة أن نموذج لغة مانع يوفر حل خارج الرف.الطريقة المقترحة تلغي بناء القاعدة المضنية ولديها قدرة حمولة عالية للنموذج المستند إلى التحرير.يظهر أيضا أنه أكثر أمانا ضد الكشف التلقائي من الأسلوب القائم على الجيل أثناء تقديم سيطرة أفضل على إيقاف تشغيل سعة الحمولة / الحمولة الأمنية.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

بالنسبة لأي موقع على شبكة الإنترنت للتجارة الإلكترونية، فهذا مشكلة غير خيالية تبني الإعلانات الدائمة التي تجذب المتسوقين.من الصعب اجتياز شريط الجودة الإبداعي للموقع، خاصة على نطاق واسع.وبالتالي نقترح حل برنامجي لتوليد عناوين إعلانات المنتج باستخدام م حتوى البيع بالتجزئة.نقترح حالة من التطبيقات الفنية لطرق التدرج في سياسة التعلم (RL) على المحولات (Vaswani et al.، 2017) نماذج لغة ملثم مقرها (ديفلين وآخرون، 2019).تقوم طريقةنا بإنشاء العنوان الإعلاني من خلال تكييف مشترك على منتجات متعددة يرغب البائع في الإعلان.نوضح أن أسلوبنا تتفوق على أساليب المحولات الحالية و LSTM + RL في مقاييس تداخل وتدقيق الجودة.نظهر أيضا أن عناويننا النموذجية التي تم إنشاؤها تفوقت عناوين حقوق الإنسان المقدمة من حيث القواعد الناقدية والجودة الإبداعية على النحو المحدد بالتدقيق.
يعد الكشف عن الموقف على Twitter تحديا بشكل خاص بسبب الطول القصير لكل سقسقة، والتعايش المستمر لمصطلحات جديدة وعلاج التصنيف، وانحراف هيكل الجملة من النثر القياسي.تم عرض نماذج لغة ذات ضبطها باستخدام بيانات داخل المجال على نطاق واسع لتكون الحالة الجديدة للعديد من مهام NLP، بما في ذلك اكتشاف الموقف.في هذه الورقة، نقترح طريقة رواية متناصة قائمة بذاتها تعزز نموذج اللغة الملثم للكشف عن الموقف.بدلا من إخفاء الرمز المميز العشوائي، نقترح استخدام نسبة مرجحة للأحكام المرجحة لتحديد الكلمات ذات الموقف العالي ومن ثم نموذج آلية الاهتمام التي تركز على هذه الكلمات.نظهر أن نهجنا المقترح يتفوق على حالة الفنية من أجل الكشف عن البيانات حول بيانات تويتر حول الانتخابات الرئاسية الأمريكية 2020.
تصف هذه الورقة نظامنا لمهمة SIGMORPHON 2021 المشتركة على تجميع النموذج المورفولوجي غير المقترح، والذي يطلب من المشاركين أن يثبتوا نماذج تم تأصيلهم معا وفقا ليمما الأساسي دون مساعدة من بيانات التدريب المشروح.نحن نوظف تجميع التجمعات التجمعات إلى مجموعة الكلمة معا باستخدام مقياس تقيي يجمع بين مسافة إلكترونية ومن المسافة الدلالية من Word Ageddings.نقوم بتجربة اثنين من الاختلافات في تحرير النموذج المستند إليه عن بعد لقياس المسافة الإلكترونية، ولكن نظرا لقيود الوقت، لا يتحسن نظامنا عبر النظام الأساسي للمهمة المشتركة.
جعلت النماذج المدربة مسبقا مثل تمثيل التشفير ثنائي الاتجاه من المحولات (بيرت)، قفزة كبيرة إلى الأمام في مهام معالجة اللغة الطبيعية (NLP).ومع ذلك، لا تزال هناك بعض أوجه القصور في مهمة نمذجة اللغة المعقدة (MLM) التي يؤديها هذه النماذج.في هذه الورقة، نق دم أول رسم بياني متعدد الأنواع بما في ذلك أنواع مختلفة من العلاقات بين الكلمات.بعد ذلك، نقترح النموذج متعدد الرسوم البياني المعزز (MG-BERT) نموذجا يعتمد على بيرتف.تضمين MG-BERT تضمين الرموز الرموز أثناء الاستفادة من الرسم البياني الثابت متعدد الرسوم البيانية التي تحتوي على حوادث مشتركة عالمية في نصوص النص بجانب الحقائق العالمية الحقيقية العالمية حول الكلمات الموجودة في رسوم المعرفة.يستخدم النموذج المقترح أيضا رسم بياني جملة ديناميكية لالتقاط السياق المحلي بشكل فعال.تظهر النتائج التجريبية أن طرازنا يمكن أن يعزز بشكل كبير الأداء في مهمة الامتيازات.
مجردة، نقدم محول تحرير يعتمد على إعادة تحديد موضع (محرر)، مما يجعل توليد التسلسل مرنا بسلاسة يسمح للمستخدمين بسلاسة لتحديد التفضيلات في الاختيار المعجمي الإخراج.بناء على النماذج الأخيرة لتوليد التسلسل غير التلقائي (GU al.، 2019)، يولد المحرر تسلسلات جديدة من خلال تحرير الفرضيات الإثارة.يعتمد على عملية "إعادة وضع رواية" مصممة لتفكيك الاختيار المعجمي من قرارات تحديد المواقع Word، مع تمكين الأوراج الفعالة للتعلم التقليد والتحرير الموازي في وقت فك التشفير.من التجريبية، يستخدم المحرر القيود المعجمية الناعمة بشكل أكثر فعالية من محول Levenshtein (Gu et al.، 2019) أثناء تسريع فك التشفير بشكل كبير مقارنة بشكل كبير بالبحث عن شعاع (Post and Vilar، 2018).يحقق المحرر أيضا جودة ترجمة قابلة للمقارنة أو أفضل مع سرعة فك التشفير أسرع من مهام الترجمة الآلية الرومانية والإنجليزية والإنجليزية والإنجليزية.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا