توصية الأخبار أمر بالغ الأهمية للوصول إلى الأخبار المخصصة. تعتمد أساليب توصيات الأخبار الموجودة على معظم طرق التخزين المركزي للأخبار التاريخية للمستخدمين النقر فوق بيانات السلوك، والتي قد تؤدي إلى مخاوف الخصوصية والمخاطر. يعد التعلم الفيدرالي إطارا ل
لحفاظ على الخصوصية لعملاء متعددين نماذج قطار تعاوني دون مشاركة بياناتهم الخاصة. ومع ذلك، فإن حساب التكاليف والاتصال في تعلم العديد من نماذج توصية الأخبار الموجودة بطريقة غير مقبولة غير مقبولة لعملاء المستخدمين. في هذه الورقة، نقترح إطارا تعليميا فائضا فعالا لتوصية الأخبار التي تحافظ على الخصوصية. بدلا من تدريب وتوصيل النموذج بأكمله، نقوم بتحلل نموذج توصية الأخبار إلى نموذج أخبار كبير يحتفظ به في الخادم ونموذج مستخدم إضاءة الوزن مشتركا على كل من الخادم والعملاء، حيث يتم توصيل تمثيل الأخبار ونموذج المستخدم بين الخادم والعملاء وبعد وبشكل أكثر تحديدا، يطلب العملاء طراز المستخدم والتمثيلات الأخبار من الخادم، وإرسال تدرجاتهم المحسوبة محليا إلى الخادم للتجميع. يقوم الخادم بتحديث نموذج المستخدم العالمي الخاص به مع التدرجات المجمعة، ويقوم كذلك بتحديث نموذج الأخبار الخاص به لاستنتاج تمثيلات أخبار محدثة. نظرا لأن التدرجات المحلية قد تحتوي على معلومات خاصة، فإننا نقترح طريقة تجميع آمنة للتدرجات الإجمالية في طريقة الحفاظ على الخصوصية. تظهر التجارب في مجموعات بيانات عالمية حقيقية أن طريقتنا يمكن أن تقلل من حساب حساب الاتصالات والاتصال على العملاء مع الحفاظ على أداء نموذج واعد.
في العديد من مهام معالجة اللغة الطبيعية، تعد استرجاع مرور وإعادة التعريف بمرتبة المقطع الإجراءان الرئيسيان في إيجاد المعلومات ذات الصلة وتحديدها. بما أن كل من الإجراءين يسهمان في الأداء النهائي، فمن المهم تحسينها بشكل مشترك من أجل تحقيق تحسن متبادل.
في هذه الورقة، نقترح نهج تدريب مشترك رواية لاسترجاع المقطع الكثيف وإعادة إطلاق Reranking. مساهمة رئيسية هي أننا نقدم تقطير List Norwise الديناميكي، حيث نقوم بتصميم نهج تدريبي موحد للأسرار لكل من المسترد و Re-Ranker. أثناء التقطير الديناميكي، يمكن تحسين المسترد و Re-Ranker بشكل متكامل وفقا لمعلومات بعضهم البعض. نقترح أيضا استراتيجية تكبير البيانات الهجينة لبناء مثيلات تدريب متنوعة لنهج تدريب ListWise. تظهر تجارب واسعة فعالية نهجنا على كل من بيانات MSMARCO والأسئلة الطبيعية. يتوفر الكود الخاص بنا في https://github.com/paddlepaddle/rocketqa.
