قياس التشابه من الجمل تحمل الرأي

بالنسبة للعديد من تطبيقات NLP للمراجعات عبر الإنترنت، فإن مقارنة جملتين تحمل رأي هي مفتاح. نقول أنه، في حين تم تطبيق مقاييس تشابه النص العام للأغراض العامة لهذا الغرض، كان هناك استكشاف محدود من تطبيقه على نصوص الرأي. نحن نتطلع إلى هذه الفجوة في الأدبيات، الدراسة: (1) كيف يحكم البشر على تشابه أزواج من الجمل التي تحمل الرأي؛ و (2) الدرجة التي يتوافق فيها مقاييس التشابه النصية الحالية، ولا سيما المتكررين على أساس الأحكام البشرية. نحن علاجه التعليقات التوضيحية لأزواج عقوبة الرأي ونتائجنا الرئيسية هي: (1) المعلقون يميلون إلى الاتفاق على ما إذا كانت أحكام الرأي متشابهة أم لا بشكل مختلف؛ و (2) تضمين المقاييس القائم على الأحكام الإنسانية من تشابه الرأي "ولكن عدم وجود فرق الرأي". بناء على تحليلنا، نحدد المجالات التي ينبغي فيها تحسين المقاييس الحالية. نقترح مزيد من التعلم لتعلم مقياس التشابه من أجل تشابه الرأي من خلال ضبط شبكة تضمين عقوبة القصص الجماعية بناء على نص المراجعة والإشراف الضعيف عن طريق تقييمات المراجعة. تبين التجارب أن لدينا متري المستفادة تفوقت مقاييس التشابه النصية الحالية، وخاصة تظهر ارتباطا أعلى بكثير مع شروح بشرية لآراء مختلفة.

For many NLP applications of online reviews, comparison of two opinion-bearing sentences is key. We argue that, while general purpose text similarity metrics have been applied for this purpose, there has been limited exploration of their applicability to opinion texts. We address this gap in the literature, studying: (1) how humans judge the similarity of pairs of opinion-bearing sentences; and, (2) the degree to which existing text similarity metrics, particularly embedding-based ones, correspond to human judgments. We crowdsourced annotations for opinion sentence pairs and our main findings are: (1) annotators tend to agree on whether or not opinion sentences are similar or different; and (2) embedding-based metrics capture human judgments of opinion similarity'' but not opinion difference''. Based on our analysis, we identify areas where the current metrics should be improved. We further propose to learn a similarity metric for opinion similarity via fine-tuning the Sentence-BERT sentence-embedding network based on review text and weak supervision by review ratings. Experiments show that our learned metric outperforms existing text similarity metrics and especially show significantly higher correlations with human annotations for differing opinions.