تلقى الكشف عن اللغة الهجومية (القديم) اهتماما متزايدا بسبب تأثيرها المجتمعي.يوضح العمل الحديث أن الأساليب القائمة على المحولات ثنائية الاتجاه تحصل على أداء مثير للإعجاب في القديم.ومع ذلك، فإن هذه الأساليب تعتمد عادة على مجموعات البيانات القديمة ذات ا
لمسمى على نطاق واسع لتدريب النماذج.لمعالجة مسألة ندرة البيانات / التسمية في القديم، في هذه الورقة، نقترح نهج بسيط في مجال تكيف مجال بسيط ولكنه فعال لتدريب المحولات ثنائية الاتجاه.تقدم نهجنا إجراءات التدريب على التكيف (DA) إلى ألبرت، بحيث يمكنها استغلال البيانات المساعدة الفعالة من مجالات المصدر لتحسين الأداء القديم في مجال مستهدف.تظهر النتائج التجريبية على مجموعات البيانات القياسية أن نهجنا، ألبرت (دا)، يحصل على الأداء الحديثة في معظم الحالات.على وجه الخصوص، فإن نهجنا يستفيد بشكل كبير من الدروس الممثلة بشكل كبير وغير مصنوع من الأداء، مع تحسن كبير على ألبرت.
تعاني الكشف عن الكلام والكشف عن الألفاظ النبأ من البيانات الخاصة بالبيانات، وخاصة لغات أخرى غير الإنجليزية، بسبب الطبيعة الذاتية للمهام وتوافق التعليق التوضيحي الناتج عن الشركة الحالية.في هذه الدراسة، نقوم بتحديد الفئات الفرعية الملتزمة في وظائف Word
وتمثيلات الجملة واستكشاف قدرة تعميمها على مجموعة متنوعة من المهام المستهدفة المماثلة والبعيدة في إعداد صفرية.تم إجراء هذا أحادي (ألماني) ويعرضا على المهام (الإنجليزية) ذات الصلة (باللغة الإنجليزية) عن كثب (باللغة الفرنسية) وغير ذات الصلة (العربية).نلاحظ أنه، في كل من المهام المستهدفة المماثلة والبعيدة وعلى جميع اللغات، فإن التمثيلات الفرعية القائمة على الفضاء الفرعي نقل أكثر فعالية من تمثيلات بيرت القياسية في إعداد الطلقة الصفرية، مع تحسينات بين F1 +10.9 و F1 +42.9 على خطوط الأساس عبر الكلاختبرت السيناريوهات أحادية الألوان واللغة اللغوية.
نقدم HATEBERT، نموذج BERT الذي تم تدريبه على إعادة تدريب للكشف عن اللغة المسيئة باللغة الإنجليزية.تم تدريب النموذج على RAL-E، وهي مجموعة بيانات واسعة النطاق من تعليقات Reddit باللغة الإنجليزية من المجتمعات المحظورة لكونها مسيئة أو بغيضة حيث قمنا بإتا
حتها للجمهور.نقدم نتائج مقارنة مفصلة بين نموذج اللغة المدرب مسبقا والنسخة المستقلة على ثلاث مجموعات بيانات باللغة الإنجليزية لمهام الهجومية والمسيئة ومهام الكشف عن الكلام.في جميع مجموعات البيانات، تتفوق HateBERT على نموذج بيرت العام.ونناقش أيضا مجموعة تجارب تقارن إمكانية نقل النماذج الصعبة في مجموعات البيانات، مما يشير إلى أن القدرة على التأثر بالتوافق مع الظواهر المشروحة.
تشكل الميمات البغيضة تحديا فريدا لأنظمة تعلم الآلات الحالية لأن رسالتهم مشتقة من كل من الطرائق النصية والمرئية.لهذا الغرض، أصدر Facebook تحدي الميمات البغيض، مجموعة بيانات من الميمات ذات التسميات التوضيحية النصية المستخلصة مسبقا، لكن من غير الواضح ما
إذا كانت هذه الأمثلة الاصطناعية تعزز إلى الميمات في البرية ".في هذه الورقة، نقوم بجمع الميمات البغيضة وغير البغيضة من Pinterest لتقييم الأداء الخارجي على النماذج المدربة مسبقا على مجموعة بيانات Facebook.نجد أن الميمات في البرية "تختلف في جوانبين رئيسيين: 1) يجب استخراج التسميات التوضيحية عبر OCR، ضجيج حقن وتقليل الأداء من النماذج متعددة الوسائط، و 2) الميمات أكثر تنوعا من الميمات التقليدية، بما في ذلك لقطات من المحادثات أو النصفي خلفية عادية.هذه الورقة هكذا بمثابة التحقق من الواقع للمعيار الحالي للكشف عن الكراهية ومستقليها على الكشف عن الكراهية في العالم الحقيقي.
غالبا ما يتم إجراء اعتدال المحتوى عن طريق التعاون بين البشر ونماذج التعلم الآلي. ومع ذلك، ليس من المفهوم جيدا كيفية تصميم العملية التعاونية لزيادة أداء نظام النموذج النموذجي المدمج. يقدم هذا العمل دراسة صارمة لهذه المشكلة، مع التركيز على نهج يتضمن عد
م اليقين النموذجي في العملية التعاونية. أولا، نقدم مقاييس مبدئية لوصف أداء النظام التعاوني في ظل قيود القدرات على المشرف البشري، وقم بترتيب مدى كفاءة النظام المشترك يستخدم القرارات الإنسانية. باستخدام هذه المقاييس، نقوم بإجراء دراسة مرجعية كبيرة تقيم أداء نماذج عدم اليقين الحديثة في إطار استراتيجيات مراجعة تعاونية مختلفة. نجد أن الاستراتيجية القائمة على عدم اليقين تتفوق باستمرار على الاستراتيجية المستخدمة على نطاق واسع بناء على درجات السمية، وعلاوة على ذلك أن اختيار استراتيجية المراجعة يغير بشكل كبير أداء النظام الشامل. توضح نتائجنا أهمية مقاييس صارمة لفهم وتطوير أنظمة نماذج مشرف فعالة للاعتدال المحتوى، وكذلك فائدة تقدير عدم اليقين في هذا المجال.
كما تصبح لغة غير مقبولة اجتماعيا منتشرة في منصات وسائل التواصل الاجتماعي، أصبحت الحاجة إلى اعتدال المحتوى التلقائي أكثر إلحاحا.تقدم هذه المساهمة كوربوس اللغة المسيئة الهولندية (DALC V1.0)، وهي مجموعة بيانات جديدة مع تغريدات يدويا للغة المسيئة.إن مزين
بالموارد تلبيس فجوة في موارد اللغة الهولندية ويعتمد مخطط توضيحي متعدد الطبقات النمذجة صريحا وهدف الرسائل المسيئة.تم إجراء تجارب الأساس في جميع طبقات التوضيحية، وتحقيق درجة ماكرو F1 من 0.748 للتصنيف الثنائي لطبقة صريحة و .489 للتصنيف المستهدف.
غالبا ما تحتوي نصوص وسائل التواصل الاجتماعي مثل منشورات المدونة والتعليقات والتغريدات بلغات هجومية بما في ذلك تعليقات خطاب الكراهية العنصرية والهجمات الشخصية والتحرش الجنسي.لذلك اكتشاف الاستخدام غير المناسب للغة هو أهمية قصوى لسلامة المستخدمين وكذلك
لقمع السلوك البغيض والعدوان.الأساليب الحالية لهذه المشكلة متاحة في الغالب لغات غنية بالموارد مثل الإنجليزية والألمانية.في هذه الورقة، نميز اللغة المسيئة في النيبالية، وهي لغة موارد منخفضة، تسليط الضوء على التحديات التي يجب معالجتها لمعالجة نص وسائل الإعلام الاجتماعية النيبالية.نقدم أيضا تجارب للكشف عن اللغة المسيئة باستخدام تعلم الآلات الخاضعة للإشراف.إلى جانب المساهمة في أول مناهج خط الأساس في الكشف عن اللغة الهجومية في النيبالية، نطلق أيضا على مجموعات البيانات المشروح البشرية لتشجيع البحث في المستقبل على هذا الموضوع الحاسم.
أظهرت أنظمة الكشف عن اللغة المسيئة الحالية التحيز غير المقصود تجاه ميزات حساسة مثل الجنسية أو الجنس. هذه قضية حاسمة، والتي قد تؤذي الأقليات والجماعات الممثلة تمثيلا ناقصا إذا تم دمج هذه الأنظمة في تطبيقات العالم الحقيقي. في هذه الورقة، نقوم بإنشاء اخ
تبارات مخصصة من خلال أداة قائمة المراجعة (Ribeiro et al.، 2020) للكشف عن التحيزات داخل مصنفات اللغة المسيئة للغة الإنجليزية. نقارن سلوك نماذج استنادتين في بيرت، واحد مدرب على مجموعة بيانات الكلام الكراهية العامة والآخر في مجموعة بيانات للكشف عن الحرج. يوضح تقييمنا أنه على الرغم من أن المصنفات القائمة على بيرت تحقق مستويات عالية الدقة على مجموعة متنوعة من مهام معالجة اللغة الطبيعية، فإنها تؤدي بشكل سيء للغاية فيما يتعلق بالإنصاف والتحيز، لا سيما بشأن العينات التي تنطوي على الصور النمطية الضمنية، وتعبيرات عن الكراهية نحو الأقليات والسمات المحمية كما العرق أو الميل الجنسي. نطلق سراح كل من أجهزة الكمبيوتر المحمولة المنفذة لتوسيع اختبارات الإنصاف ومجموعات البيانات الاصطناعية التي يمكن استخدامها لتقييم تنظيم الأنظمة بشكل مستقل عن قائمة المراجعة.
تقلص نهج التحيز مع اعتماد النماذج على ميزات البيانات الحساسة للبيانات، مثل رموز المجموعة الاجتماعية (SGTS)، مما يؤدي إلى تنبؤات متساوية عبر الميزات الحساسة.ومع ذلك، في الكشف عن الكلام الكراهية، قد يتجاهل تكالير التعادل النموذجي الاختلافات المهمة بين
الفئات الاجتماعية المستهدفة، حيث يمكن أن يحتوي خطاب الكراهية على لغة نمطية محددة لكل رقاقة.هنا، لاتخاذ لغة محددة حول كل رقص في الاعتبار، نعتمد على الإنصاف المتعارض واستكمال التنبؤات فيما بينها، ولدت من خلال تغيير SGTS.تقوم طريقتنا بتقييم التشابه في احتمالية الجملة (عبر نماذج اللغة المدربة مسبقا) بين الوسائل المتعددة، لعلاج SGTS على قدم المساواة إلا في سياقات قابلة للتبديل.من خلال تطبيق اقتران Logit لتحقيق التوازن في المجموعة المحظورة من مواجهة المصنع لكل حالة، فإننا نحسن مقاييس الإنصاف مع الحفاظ على الأداء النموذجي في اكتشاف خطاب الكراهية.
كانت هناك عدة محاولات لإنشاء معجم عاطفي دقيق وشامل باللغة الإنجليزية، والذي يحدد المحتوى العاطفي للكلمات. من بين العديد من الموارد الشائعة الاستخدام، تلقت معجم NRC Emption (Mohammad and Turney، 2013B) معظم الاهتمام بسبب توافرها وحجمها واختيارها لنموذ
ج PLUTCHIVE التعبيري 8-Close Model. في هذه الورقة، نحدد عدد كبير من الإدخالات المقلقة في معجم NRC، حيث تكون الكلمات التي ينبغي أن تكون في معظم السياقات محايدة عاطفيا، دون أي تأثير (على سبيل المثال، مثليه، الحجر "، الجبل")، ترتبط بالملصقات العاطفية التي هي غير دقيقة، غير رسمية، تقشير، أو، في أحسن الأحوال، المعتمدة للغاية والسياق (على سبيل المثال، مثليه "المسمى بالاشمئزاز والحزن، والحجر" كغضب، أو جبل "كما يتيح). نحن نصف إجراء إجراء لتصحيح هذه المشكلات شبه تلقائيا في NRC، والذي يتضمن فئات POS Disbigiguating ومحاذاة إدخالات NRC مع طمامة العاطفة الأخرى لاستنتاج دقة الملصقات. نوضح عبر معيار تجريبي يتم تحسين جودة الموارد. نقوم بإصدار المورد المنقح وشمزنا لتمكين الباحثين الآخرين من إعادة إنتاج والبناء عند النتائج.
