الآثار السببية للخصائص اللغوية

نحن نعتبر مشكلة استخدام بيانات الرصد لتقدير الآثار السببية للخصائص اللغوية. على سبيل المثال، هل كتابة شكوى تؤدي بأدب إلى وقت استجابة أسرع؟ كم سيزيد مراجعة المنتج الإيجابي المبيعات؟ تتناول هذه الورقة تحديين تقنيا متعلقة بالمشكلة قبل تطوير طريقة عملية. أولا، نقوم بإضفاء الطابع الرسمي على الكمية السببية ذات الاهتمام باعتباره تأثير نية الكاتب، وإنشاء الافتراضات اللازمة لتحديد ذلك من بيانات الرصد. ثانيا، في الممارسة العملية، لدينا سوى إمكانية الوصول إلى الوكلاء الصاخب للخصائص اللغوية ذات الاهتمام --- E.G. تنبؤات من المصنفين والمعممون. نقترح مقدر لهذا الإعداد وإثبات أن تحيزها يحدنا عند إجراء تعديل للنص. بناء على هذه النتائج، نقدم TextCause، خوارزمية لتقدير الآثار السببية للخصائص اللغوية. تتميز الطريقة (1) بالإشراف البعيد لتحسين جودة الوكلاء الصاخبين، و (2) نموذج لغة مدرب مسبقا (Bert) لضبط النص. نظرا لأن الطريقة المقترحة تفوقت على النهج ذات الصلة عند تقدير تأثير مشاعر مراجعة الأمازون على أرقام المبيعات شبه المحاكاة. أخيرا، نقدم دراسة حالة مطبوعة تحقق في آثار شكوى المداراة بشأن أوقات الاستجابة البيروقراطية.

We consider the problem of using observational data to estimate the causal effects of linguistic properties. For example, does writing a complaint politely lead to a faster response time? How much will a positive product review increase sales? This paper addresses two technical challenges related to the problem before developing a practical method. First, we formalize the causal quantity of interest as the effect of a writer's intent, and establish the assumptions necessary to identify this from observational data. Second, in practice, we only have access to noisy proxies for the linguistic properties of interest---e.g., predictions from classifiers and lexicons. We propose an estimator for this setting and prove that its bias is bounded when we perform an adjustment for the text. Based on these results, we introduce TextCause, an algorithm for estimating causal effects of linguistic properties. The method leverages (1) distant supervision to improve the quality of noisy proxies, and (2) a pre-trained language model (BERT) to adjust for the text. We show that the proposed method outperforms related approaches when estimating the effect of Amazon review sentiment on semi-simulated sales figures. Finally, we present an applied case study investigating the effects of complaint politeness on bureaucratic response times.