قياس وتحسين تعاون النموذج النموذجي باستخدام تقدير عدم اليقين

غالبا ما يتم إجراء اعتدال المحتوى عن طريق التعاون بين البشر ونماذج التعلم الآلي. ومع ذلك، ليس من المفهوم جيدا كيفية تصميم العملية التعاونية لزيادة أداء نظام النموذج النموذجي المدمج. يقدم هذا العمل دراسة صارمة لهذه المشكلة، مع التركيز على نهج يتضمن عدم اليقين النموذجي في العملية التعاونية. أولا، نقدم مقاييس مبدئية لوصف أداء النظام التعاوني في ظل قيود القدرات على المشرف البشري، وقم بترتيب مدى كفاءة النظام المشترك يستخدم القرارات الإنسانية. باستخدام هذه المقاييس، نقوم بإجراء دراسة مرجعية كبيرة تقيم أداء نماذج عدم اليقين الحديثة في إطار استراتيجيات مراجعة تعاونية مختلفة. نجد أن الاستراتيجية القائمة على عدم اليقين تتفوق باستمرار على الاستراتيجية المستخدمة على نطاق واسع بناء على درجات السمية، وعلاوة على ذلك أن اختيار استراتيجية المراجعة يغير بشكل كبير أداء النظام الشامل. توضح نتائجنا أهمية مقاييس صارمة لفهم وتطوير أنظمة نماذج مشرف فعالة للاعتدال المحتوى، وكذلك فائدة تقدير عدم اليقين في هذا المجال.

Content moderation is often performed by a collaboration between humans and machine learning models. However, it is not well understood how to design the collaborative process so as to maximize the combined moderator-model system performance. This work presents a rigorous study of this problem, focusing on an approach that incorporates model uncertainty into the collaborative process. First, we introduce principled metrics to describe the performance of the collaborative system under capacity constraints on the human moderator, quantifying how efficiently the combined system utilizes human decisions. Using these metrics, we conduct a large benchmark study evaluating the performance of state-of-the-art uncertainty models under different collaborative review strategies. We find that an uncertainty-based strategy consistently outperforms the widely used strategy based on toxicity scores, and moreover that the choice of review strategy drastically changes the overall system performance. Our results demonstrate the importance of rigorous metrics for understanding and developing effective moderator-model systems for content moderation, as well as the utility of uncertainty estimation in this domain.