نمذجة الشفافية الكشفية في أوصاف تطبيق NLP

شفافية إفصائية أوسع --- الحقيقة والوضوح في مجال الاتصالات فيما يتعلق بوظائف منظمة العفو الدولية --- تعتبر على نطاق واسع مرغوب فيه. لسوء الحظ، إنه مفهوم غامض، يصعب تحديده وقياسه. هذا هو الإشكارات، كما أظهر العمل السابق مفاضلات محتملة وعواقب سلبية للإفصاح عن الشفافية، مثل تأثير الالتباس، حيث تفهم الكثير من المعلومات "فهم القارئ لما يعني وصف النظام. لقد جعلت الطبيعة الشخصية الشفافية الإفصائية دراسة عميقة في هذه المشكلات وعلاجاتهم صعبة. لتحسين هذه الحالة، نقدم مقاييس احتمالية النموذج العصبي النموذجي النموذجي مباشرة من الشفافية الكشفية، وإظهار أنهم يرتبطون بالمستخدم وفكرات الخبراء من شفافية النظام، مما يجعلهم وكيلا موضوعيا صالحا. أخيرا، نوضح استخدام هذه المقاييس في دراسة تجريبية يحدد العلاقات بين الشفافية والارتباك وتصورات المستخدمين في كائن من أوصاف نظام NLP الحقيقي.

Broader disclosive transparency---truth and clarity in communication regarding the function of AI systems---is widely considered desirable. Unfortunately, it is a nebulous concept, difficult to both define and quantify. This is problematic, as previous work has demonstrated possible trade-offs and negative consequences to disclosive transparency, such as a confusion effect, where too much information'' clouds a reader's understanding of what a system description means. Disclosive transparency's subjective nature has rendered deep study into these problems and their remedies difficult. To improve this state of affairs, We introduce neural language model-based probabilistic metrics to directly model disclosive transparency, and demonstrate that they correlate with user and expert opinions of system transparency, making them a valid objective proxy. Finally, we demonstrate the use of these metrics in a pilot study quantifying the relationships between transparency, confusion, and user perceptions in a corpus of real NLP system descriptions.