تقدير حساسية السياق في اكتشاف السمية

مشاركات المستخدم التي تعتمد سممتها المتصورة على سياق المحادثة نادرة في مجموعات بيانات الكشف عن السمية الحالية.وبالتالي، فإن كاشفات السمية المدربين على مجموعات البيانات الحالية ستتجاهل السياق أيضا، مما يجعل اكتشاف سمية حساسة للسياق أكثر صعوبة بكثير عند حدوث ذلك.قمنا بناؤنا وتحرير علني مجموعة بيانات من مشاركات 10K مع نوعين من تسميات سمية لكل مشاركة، تم الحصول عليها من المعلقين الذين اعتبروا (ط) كل من المنصب الحالي والآخر سياق، أو (II) فقط الوظيفة الحالية فقط.نقدم مهمة جديدة، وتقدير حساسية السياق، الذي يهدف إلى تحديد المشاركات التي تتغير سميةها المتصورة إذا تم النظر في السياق (المنشور السابق) أيضا.باستخدام DataSet الجديد، نظهر أن الأنظمة يمكن تطويرها لهذه المهمة.يمكن استخدام هذه الأنظمة لتعزيز مجموعات بيانات الكشف عن السمية مع المزيد من المشاركات التي تعتمد على السياق أو أن توحي عندما ينبغي للمشرفين النظر في الوظائف الأصلية، والتي قد لا تكون ضرورية دائما وقد تقدم تكاليف إضافية.

User posts whose perceived toxicity depends on the conversational context are rare in current toxicity detection datasets. Hence, toxicity detectors trained on current datasets will also disregard context, making the detection of context-sensitive toxicity a lot harder when it occurs. We constructed and publicly release a dataset of 10k posts with two kinds of toxicity labels per post, obtained from annotators who considered (i) both the current post and the previous one as context, or (ii) only the current post. We introduce a new task, context-sensitivity estimation, which aims to identify posts whose perceived toxicity changes if the context (previous post) is also considered. Using the new dataset, we show that systems can be developed for this task. Such systems could be used to enhance toxicity detection datasets with more context-dependent posts or to suggest when moderators should consider the parent posts, which may not always be necessary and may introduce additional costs.