تحقيقا نحو تسلسل خاص بالتفاضل العلاجي في إطار ميديري

لبناء التطبيقات المستندة إلى التعلم في الآلات من أجل المجالات الحساسة مثل الطبية والقانونية، وما إلى ذلك حيث يحتوي النص الرقمي على معلومات خاصة، فإن عدم الكشف عن هويت النص مطلوب للحفاظ على الخصوصية. تسلسل العلامات، على سبيل المثال كما فعلت في التعرف على الكيان المسمى (NER) يمكن أن تساعد في الكشف عن المعلومات الخاصة. ومع ذلك، لتدريب نماذج العلامات على التسلسل، مبلغ كافية من البيانات المسمى مطلوبة ولكن بالنسبة لمجالات حساسة الخصوصية، لا يمكن أيضا مشاركة هذه البيانات المسمى مباشرة. في هذه الورقة، يمكننا التحقيق في تطبيق إطار الحفاظ على الخصوصية لمهام علامات التسلسل، وتحديدا NER. وبالتالي، فإننا نحلل إطارا لمهمة NER، التي تتضمن مستويين لحماية الخصوصية. أولا، نقوم بنشر إطار تعليمي (FLF) الموحد حيث لا يتم مشاركة البيانات المسمى مع الخادم المركزي بالإضافة إلى عملاء الأقران. ثانيا، نطبق الخصوصية التفاضلية (DP) أثناء التدريب النماذج في كل مثيل عميل. في حين أن كلا من تدابير الخصوصية مناسبة للنماذج التي تدرك الخصوصية، فإن تركيبة النتائج في النماذج غير المستقرة. لمعرفةنا، هذه هي الدراسة الأولى من نوعها على نماذج علامات تسلسل الإدراك في الخصوصية.

To build machine learning-based applications for sensitive domains like medical, legal, etc. where the digitized text contains private information, anonymization of text is required for preserving privacy. Sequence tagging, e.g. as done in Named Entity Recognition (NER) can help to detect private information. However, to train sequence tagging models, a sufficient amount of labeled data are required but for privacy-sensitive domains, such labeled data also can not be shared directly. In this paper, we investigate the applicability of a privacy-preserving framework for sequence tagging tasks, specifically NER. Hence, we analyze a framework for the NER task, which incorporates two levels of privacy protection. Firstly, we deploy a federated learning (FL) framework where the labeled data are not shared with the centralized server as well as the peer clients. Secondly, we apply differential privacy (DP) while the models are being trained in each client instance. While both privacy measures are suitable for privacy-aware models, their combination results in unstable models. To our knowledge, this is the first study of its kind on privacy-aware sequence tagging models.