اشترك بالحزمة الذهبية واحصل على وصول غير محدود شمرا أكاديميا
تسجيل مستخدم جديدنحو نماذج الخصوصية والفائدة المرجعية للمهمة
Towards Task-Agnostic Privacy- and Utility-Preserving Models
282
0 0
0.0
(
0
)
نشر من قبل
جمعية اللغويات الحاسوبية ACL مقالة
تاريخ النشر
2021
مجال البحث
الذكاء الاصناعي
والبحث باللغة
English
تمت اﻹضافة من قبل
Shamra Editor
اسأل ChatGPT حول البحث
تعتمد نماذج التعلم العميق الحديثة لمعالجة اللغة الطبيعية بشكل كبير على كميات كبيرة من النصوص المشروح.ومع ذلك، قد يكون الحصول على مثل هذه النصوص صعبة عندما تحتوي على معلومات شخصية أو سرية، على سبيل المثال، في المجالات الصحية أو القانونية.في هذا العمل، نقترح طريقة لإلغاء تحديد المستندات النصية النموذج الحرة من خلال تقسيم البيانات الحساسة بعناية فيها.نظهر أن طريقتنا تحافظ على الأداة المساعدة للبيانات لتصنيف النصوص ووضع التسلسل والتسجيل الإجابة على المهام.
Modern deep learning models for natural language processing rely heavily on large amounts of annotated texts. However, obtaining such texts may be difficult when they contain personal or confidential information, for example, in health or legal domains. In this work, we propose a method of de-identifying free-form text documents by carefully redacting sensitive data in them. We show that our method preserves data utility for text classification, sequence labeling and question answering tasks.
المراجع المستخدمة
https://aclanthology.org/
قيم البحث
اقرأ أيضاً
من المعروف أن نماذج اللغة العصبية لديها سعة عالية لتحفيظ عينات التدريب.قد يكون لهذا تصرفات خصوصية خطيرة عند نماذج التدريب على محتوى المستخدم مثل مراسلات البريد الإلكتروني.يأتي الخصوصية التفاضلية (DP)، وهو خيار شعبي لتدريب النماذج مع ضمانات الخصوصية،
بتكاليف كبيرة من حيث تدهور المرافق والتأثير المتباين على المجموعات الفرعية للمستخدمين.في هذا العمل، نقدم طريقتين مع الحفاظ على الخصوصية لنماذج اللغة التدريبية التي تمكن التحسين المشترك للأداة المساعدة والخصوصية من خلال (1) استخدام تمييزي (2) إدراج مصطلح خسائر ثلاثية جديدة.نقارن أساليبنا مع موانئ دبي من خلال تقييم واسع النطاق.نظهر مزايا المتداولين لدينا مع مفاضلة خصوصية فائدة مواتية، تدرب أسرع مع القدرة على الاستفادة من أساليب التحسين الحالية، وضمان علاج موحد للمجموعات الفرعية الممثلة تمثيلا ممثلي.
نحن برعاية Wikipii، وهي مجموعة بيانات مسمى تلقائيا تتكون من صفحات سيرة Wikipedia، مشروحة لاستخراج المعلومات الشخصية. على الرغم من أن التوضيح التلقائي يمكن أن يؤدي إلى درجة عالية من الضوضاء التسمية، إلا أنها عملية غير مكلفة ويمكن أن تولد كميات كبيرة م
ن المستندات المشروح. قمنا بتدريب نموذج NER مقره BERT مع Wikipii وأظهر أنه مع مجموعة بيانات تدريبية كبيرة بشكل مناسب، يمكن أن يقلل النموذج بشكل كبير من تكلفة استخراج المعلومات اليدوية، على الرغم من المستوى العالي من الضوضاء التسمية. في نهج مماثل، يمكن للمنظمات الاستفادة من تقنيات التعدين النصية لإنشاء مجموعات بيانات مخصصة مشروحة من بياناتها التاريخية دون مشاركة البيانات الخام للتعليق البشري البشري. أيضا، نستكشف التدريب التعاوني للنماذج NER من خلال التعلم الفيدرالي عندما يكون التوضيحي صاخبا. تشير نتائجنا إلى أنه اعتمادا على مستوى الثقة إلى مشغل ML وحجم البيانات المتاحة، يمكن أن يكون التدريب الموزع طريقة فعالة لتدريب معرف معلومات شخصي بطريقة محفوظة خصوصية. المواد البحثية متاحة في https://github.com/ratmcu/wikipiifed.
يمكن أن تساعد تقنيات توصيات الأخبار المستخدمين على منصات الأخبار للحصول على معلومات الأخبار المفضلة لديهم. تعتمد معظم طرق توصيات الأخبار الحالية على بيانات سلوك المستخدم المخزنة مركزيا لتدريب نماذج وخدمة المستخدمين. ومع ذلك، فإن بيانات المستخدم عادة
ما تكون حساسة خصوصية عالية، وتخزينها مركزيا في منصة الأخبار قد تثير مخاوف الخصوصية والمخاطر. في هذه الورقة، نقترح إطار توصية أخبار موحدة، والتي يمكن أن تستخدم بيانات المستخدم المخزنة محليا في عملاء المستخدمين لتدريب النماذج وخدمة المستخدمين بطريقة محافظة الخصوصية. بعد النموذج المستخدمة على نطاق واسع في أنظمة التوصية في العالم الحقيقي، يحتوي إطار عملنا على مرحلة للجيل الأخبار المرشح (I.E.، استدعاء) ومرحلة لترتيب الأخبار المرشح (أي، الترتيب). في مرحلة الاستدعاء، يتعلم كل عميل محليا تمثيلات فائدة متعددة من الأخبار النقر باهتمامات المستخدم النموذجية الشاملة. تم تحميل هذه التمثيلات إلى الخادم لاستدعاء أخبار المرشحين من تجمع أخبار كبير، والتي يتم توزيعها بشكل إضافي على عميل المستخدم في مرحلة الترتيب لعرض الأخبار المخصص. بالإضافة إلى ذلك، نقترح طريقة Decomposer-Decomposer-Decomposer مع ضوضاء الاضطرابات لتحسين حماية معلومات المستخدم الخاصة المشفرة في تمثيلات اهتمام المستخدم. علاوة على ذلك، فإننا نتدرب بشكل تعاوني في تذكر نماذج الترتيب والترتيب على البيانات اللامركزية في عدد كبير من عملاء المستخدمين بطريقة الحفاظ على الخصوصية. تبين التجارب في مجموعات بيانات الأخبار الحقيقية في العالم أن طريقتنا يمكن أن تفوق أساليب خط الأساس وتحمي خصوصية المستخدم بشكل فعال.
يمكن أن ترجمت نماذج النص العصبي المؤقتة مؤخرا لترجمة أسئلة اللغة الطبيعية بفعالية لاستعلامات SQL المقابلة على قواعد البيانات غير المرئية.العمل في الغالب على مجموعة بيانات العنكبوت، اقترح الباحثون حلولا متطورة بشكل متزايد للمشكلة.على عكس هذا الاتجاه،
في هذه الورقة نركز على التبسيط.نبدأ بإعادة بناء DUORAT، وإعادة تنفيذ طراز Rat-Art-Art-Art الذي يعكس RAT-SQL باستخدام محولات العلاقات أو الفانيليا فقط كقطات بناء.نحن نؤدي العديد من التجارب الاجتثاث باستخدام Duorat كنموذج الأساس.تقوم تجاربنا بتأكيد فائدة بعض التقنيات وأشرح التكرار للآخرين، بما في ذلك ميزات وميزات SQL الهيكلية التي ترتبط بالسؤال مع المخطط.
غالبا ما يتم استخدام مخصصات Dirichlet الكامنة (LDA)، وهو نموذج موضوع يستخدم على نطاق واسع كأداة أساسية لتحليل النص في التطبيقات المختلفة. ومع ذلك، فإن عملية التدريب لنموذج LDA عادة ما تتطلب بيانات كوربوس نصية ضخمة. من ناحية، قد تعرض هذه البيانات الضخ
مة معلومات خاصة في بيانات التدريب، وبالتالي تكبد شواغل الخصوصية الهامة. من ناحية أخرى، قد تتأثر كفاءة التدريب لنموذج LDA، لأن تدريب LDA يحتاج غالبا إلى التعامل مع بيانات كوربوس النص الضخمة. لمعالجة مشكلات الخصوصية في التدريب النموذجي LDA، جمعت بعض الأعمال الحديثة خوارزميات تدريب LDA التي تستند إلى أخذ عينات Gibbs المنهارة (CGS) مع خصوصية تفاضلية. ومع ذلك، فإن هذه الأعمال عادة ما يكون لها ميزانية خصوصية تراكمية عالية بسبب التكرارات الشاسعة في CGS. علاوة على ذلك، فإن هذه الأعمال لديها دائما كفاءة منخفضة بسبب التعامل مع بيانات Corpus النص الضخمة. لتحسين ضمان الخصوصية والكفاءة، نجمع بين طريقة فرعية مع CGS واقتراح خوارزمية تدريب LDA الجديدة مع خصوصية تفاضلية، فرعية LDA. نجد أن التعيين في CGS يحسن بشكل طبيعي الكفاءة أثناء تضخيم الخصوصية. نقترح أداة متري جديدة، وكفاءة - وظيفة الخصوصية، لتقييم تحسينات ضمان الخصوصية والكفاءة. استنادا إلى طريقة فرعية تقليدية، نقترح طريقة عمل قضائية على التكيف لتحسين فائدة النموذج التي تنتجها فرعية LDA عندما تكون النسبة الفرعية صغيرة. نحن نقدم تحليلا شاملا ل Sub-LDA، وتقييم نتائج التجربة تحسيناتها وضمان خصوصيتها.
الأسئلة المقترحة
سجل دخول لتتمكن من نشر تعليقات
التعليقات
جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
