معجم للحصول على تحديد نصي ونص فاحش في البنغالية

البنغالية هي لغة موارد منخفضة تفتقر إلى الأدوات والموارد الخاصة بالكشف عن المحتوى النصي النصي والفاحش.حتى الآن، لا يوجد معجم لكشف الفاحش في نص وسائل الإعلام الاجتماعية البنغالية.تقدم هذه الدراسة معجم بنغالي فاحشين يتكون من أكثر من 200 مصطلحات بنغالية، والتي يمكن اعتبارها قذرة أو عامية صلبة أو فاحشة أو فاحشة.يتم تقديم منهجية شبه أوتوماتيكية لتطوير المعجم الملحق الذي يهدف إلى تطور كائنات فاحشة وكلمة تضمين وكالة الكلام (POS).يحقق المعجم المطور تغطية حوالي 0.85 للكشف عن المحتوى الفاحش والمحتوى في مجموعة بيانات التقييم.تنطوي النتائج التجريبية على أن المعجم المطور فعال في تحديد الفحش في محتوى بنغالي وسائل التواصل الاجتماعي.

Bengali is a low-resource language that lacks tools and resources for profane and obscene textual content detection. Until now, no lexicon exists for detecting obscenity in Bengali social media text. This study introduces a Bengali obscene lexicon consisting of over 200 Bengali terms, which can be considered filthy, slang, profane or obscene. A semi-automatic methodology is presented for developing the profane lexicon that leverages an obscene corpus, word embedding, and part-of-speech (POS) taggers. The developed lexicon achieves coverage of around 0.85 for obscene and profane content detection in an evaluation dataset. The experimental results imply that the developed lexicon is effective at identifying obscenity in Bengali social media content.