ترغب بنشر مسار تعليمي؟ اضغط هنا

إطار عمل تعليمي آمن وفعال لهل

A Secure and Efficient Federated Learning Framework for NLP

319   0   0   0.0 ( 0 )
 تاريخ النشر 2021
  مجال البحث الذكاء الاصناعي
والبحث باللغة English
 تمت اﻹضافة من قبل Shamra Editor




اسأل ChatGPT حول البحث

في هذا العمل، نعتبر مشكلة تصميم أطر تعليمية آمنة وفعالة (FLF) ل NLP.الحلول القائمة تحت هذه الأدبيات إما النظر في مجمع موثوق أو تتطلب بدائريات تشفير ثقيلة الوزن، مما يجعل الأداء يتدهور بشكل كبير.علاوة على ذلك، تعمل العديد من تصاميم FL FL Secure الموجودة فقط بموجب الافتراض التقييدي الذي يمكن إسقاط أي منهما من بروتوكول التدريب.لمعالجة هذه المشكلات، نقترح SEFL، وهو إطار تعليمي آمن وفعال في الفيدروس (1) يلغي الحاجة إلى الكيانات الموثوق بها؛(2) يحقق دقة نموذجية مماثلة وحتى أفضل مقارنة بتصميمات فلوريدا الحالية؛(3) مرن للتسربين العميل.



المراجع المستخدمة
https://aclanthology.org/
قيم البحث

اقرأ أيضاً

توصية الأخبار أمر بالغ الأهمية للوصول إلى الأخبار المخصصة. تعتمد أساليب توصيات الأخبار الموجودة على معظم طرق التخزين المركزي للأخبار التاريخية للمستخدمين النقر فوق بيانات السلوك، والتي قد تؤدي إلى مخاوف الخصوصية والمخاطر. يعد التعلم الفيدرالي إطارا ل لحفاظ على الخصوصية لعملاء متعددين نماذج قطار تعاوني دون مشاركة بياناتهم الخاصة. ومع ذلك، فإن حساب التكاليف والاتصال في تعلم العديد من نماذج توصية الأخبار الموجودة بطريقة غير مقبولة غير مقبولة لعملاء المستخدمين. في هذه الورقة، نقترح إطارا تعليميا فائضا فعالا لتوصية الأخبار التي تحافظ على الخصوصية. بدلا من تدريب وتوصيل النموذج بأكمله، نقوم بتحلل نموذج توصية الأخبار إلى نموذج أخبار كبير يحتفظ به في الخادم ونموذج مستخدم إضاءة الوزن مشتركا على كل من الخادم والعملاء، حيث يتم توصيل تمثيل الأخبار ونموذج المستخدم بين الخادم والعملاء وبعد وبشكل أكثر تحديدا، يطلب العملاء طراز المستخدم والتمثيلات الأخبار من الخادم، وإرسال تدرجاتهم المحسوبة محليا إلى الخادم للتجميع. يقوم الخادم بتحديث نموذج المستخدم العالمي الخاص به مع التدرجات المجمعة، ويقوم كذلك بتحديث نموذج الأخبار الخاص به لاستنتاج تمثيلات أخبار محدثة. نظرا لأن التدرجات المحلية قد تحتوي على معلومات خاصة، فإننا نقترح طريقة تجميع آمنة للتدرجات الإجمالية في طريقة الحفاظ على الخصوصية. تظهر التجارب في مجموعات بيانات عالمية حقيقية أن طريقتنا يمكن أن تقلل من حساب حساب الاتصالات والاتصال على العملاء مع الحفاظ على أداء نموذج واعد.
أظهرت نماذج المحادثة العصبية إمكانات كبيرة تجاه توليد ردود بطلاقة وإمعلومات عن طريق إدخال معرفة خلفية خارجية. ومع ذلك، فمن الشائع بناء هذه الحوارات المدرجة في المعرفة، وعادة ما تؤدي النماذج الحالية بشكل سيء عند النقل إلى مجالات جديدة مع عينات تدريب م حدودة. لذلك، فإن بناء نظام حوار مدرج في المعرفة بموجب إعداد الموارد المنخفضة هو قضية حاسمة لا تزال. في هذه الورقة، نقترح إطارا لتعليم تعليمي رواية ثلاث مراحل يستند إلى التعلم الإشرافه ضعيف يفيد من الحوارات على نطاق واسع وقاعدة المعرفة غير المنظمة. للتعاون بشكل أفضل مع هذا الإطار، نضع متغير من المحولات مع فك فك التشفير التي تسهل التعلم المنطلق لتوليد الاستجابة وإدماج المعرفة. تشير نتائج التقييم إلى معيارين إلى أن نهجنا يمكن أن يتفوق على أساليب حديثة أخرى مع بيانات تدريب أقل، وحتى في سيناريو الموارد الصفرية، فإن نهجنا لا يزال ينفذ جيدا.
توليد الحوار المكيف يعاني من ندرة الردود المسمى.في هذا العمل، استغلالنا بيانات نصية غير حوار مرتبطة بالشرط، والتي هي أسهل بكثير لجمعها.نقترح نهج تعليمي متعدد المهام للاستفادة من كل من الحوار والبيانات النصية المسمى.تقوم المهام الثلاثة بتحسين نفس مهمة توليد الحوار المحول مدببت مسبقا على بيانات الحوار المسمى، ومهمة ترميز اللغة مشروطة ومهمة توليد اللغة مشروطة على البيانات النصية المسمى.تظهر النتائج التجريبية أن نهجنا يتفوق على النماذج الحديثة من خلال الاستفادة من النصوص المسمى، كما أنه يحصل أيضا على تحسين أكبر في الأداء مقارنة بالطرق السابقة لاستفادة البيانات النصية.
تعد تصنيف النوايا (IC) وملء الفتحات (SF) لبنات بناء مهمة في أنظمة الحوار الموجهة نحو المهام. هذه المهامتين مرتبطان ارتباطا وثيقا ويمكن أن تزدهر بعضهما البعض. نظرا لأن عدد قليل فقط من الكلام، يمكن استخدامها لتحديد النوايا والفتحات الجديدة الناشئة، وغا لبا ما تحدث مشكلة ندرة البيانات عند تنفيذ IC و SF. ومع ذلك، فإن عدد قليل من نماذج IC / SF تعمل بشكل جيد عندما يكون عدد عينات التدريب لكل فئة صغيرة جدا. في هذه الورقة، نقترح إطارا تعليميا مشتركا متميزا ومشروعا مختلفا ومشروعا للإشراف من أجل تصنيف قلة الطابع وملء الفتحة. أبرزها هي كما يلي. (1) يقوم النموذج بإجراء عروض النية والفخان عبر التفاعلات ثنائية الاتجاه، ويمتد الشبكة النموذجية لتحقيق التعلم الصريح المشترك، والذي يضمن أن مهام IC و SF يمكن أن تعزز بعضها البعض. (2) يتكامل النموذج مع التعلم المتعري الخاضع للإشراف، مما يضمن سحب العينات من نفس الفصل معا ويتم دفع عينات من فئات مختلفة. بالإضافة إلى ذلك، يتبع النموذج بطريقة غير شائعة ولكن عملية لبناء الحلقة، والتي تتخلص من الإعداد التقليدي مع طريقة ثابتة وإطلاق النار، وتسمح بموادات البيانات غير المتوازنة. تجارب واسعة على ثلاث مجموعات بيانات عامة تظهر أن نموذجنا يمكن أن يحقق أداء واعد.
لبناء التطبيقات المستندة إلى التعلم في الآلات من أجل المجالات الحساسة مثل الطبية والقانونية، وما إلى ذلك حيث يحتوي النص الرقمي على معلومات خاصة، فإن عدم الكشف عن هويت النص مطلوب للحفاظ على الخصوصية. تسلسل العلامات، على سبيل المثال كما فعلت في التعرف على الكيان المسمى (NER) يمكن أن تساعد في الكشف عن المعلومات الخاصة. ومع ذلك، لتدريب نماذج العلامات على التسلسل، مبلغ كافية من البيانات المسمى مطلوبة ولكن بالنسبة لمجالات حساسة الخصوصية، لا يمكن أيضا مشاركة هذه البيانات المسمى مباشرة. في هذه الورقة، يمكننا التحقيق في تطبيق إطار الحفاظ على الخصوصية لمهام علامات التسلسل، وتحديدا NER. وبالتالي، فإننا نحلل إطارا لمهمة NER، التي تتضمن مستويين لحماية الخصوصية. أولا، نقوم بنشر إطار تعليمي (FLF) الموحد حيث لا يتم مشاركة البيانات المسمى مع الخادم المركزي بالإضافة إلى عملاء الأقران. ثانيا، نطبق الخصوصية التفاضلية (DP) أثناء التدريب النماذج في كل مثيل عميل. في حين أن كلا من تدابير الخصوصية مناسبة للنماذج التي تدرك الخصوصية، فإن تركيبة النتائج في النماذج غير المستقرة. لمعرفةنا، هذه هي الدراسة الأولى من نوعها على نماذج علامات تسلسل الإدراك في الخصوصية.

الأسئلة المقترحة

التعليقات
جاري جلب التعليقات جاري جلب التعليقات
سجل دخول لتتمكن من متابعة معايير البحث التي قمت باختيارها
mircosoft-partner

هل ترغب بارسال اشعارات عن اخر التحديثات في شمرا-اكاديميا