التدريب نماذج لغة كبيرة يمكن أن تستهلك كمية كبيرة من الطاقة.نفترض أن تكوين نموذج اللغة يؤثر على استهلاكها في مجال الطاقة، وأن هناك مجالا لتحسين استهلاك الطاقة في نماذج اللغة الكبيرة الحديثة.للتحقيق في هذه المطالبات، نقدم عامل استهلاك الطاقة في الوظيف
ة الموضوعية، واستكشاف مجموعة النماذج وتكوينات HyperParameter التي تؤثر على الطاقة.نحدد عوامل تكوين متعددة يمكن أن تقلل من استهلاك الطاقة أثناء التدريب على نموذج اللغة مع الحفاظ على جودة النموذج.
يمكن أن تساعد تقنيات توصيات الأخبار المستخدمين على منصات الأخبار للحصول على معلومات الأخبار المفضلة لديهم. تعتمد معظم طرق توصيات الأخبار الحالية على بيانات سلوك المستخدم المخزنة مركزيا لتدريب نماذج وخدمة المستخدمين. ومع ذلك، فإن بيانات المستخدم عادة
ما تكون حساسة خصوصية عالية، وتخزينها مركزيا في منصة الأخبار قد تثير مخاوف الخصوصية والمخاطر. في هذه الورقة، نقترح إطار توصية أخبار موحدة، والتي يمكن أن تستخدم بيانات المستخدم المخزنة محليا في عملاء المستخدمين لتدريب النماذج وخدمة المستخدمين بطريقة محافظة الخصوصية. بعد النموذج المستخدمة على نطاق واسع في أنظمة التوصية في العالم الحقيقي، يحتوي إطار عملنا على مرحلة للجيل الأخبار المرشح (I.E.، استدعاء) ومرحلة لترتيب الأخبار المرشح (أي، الترتيب). في مرحلة الاستدعاء، يتعلم كل عميل محليا تمثيلات فائدة متعددة من الأخبار النقر باهتمامات المستخدم النموذجية الشاملة. تم تحميل هذه التمثيلات إلى الخادم لاستدعاء أخبار المرشحين من تجمع أخبار كبير، والتي يتم توزيعها بشكل إضافي على عميل المستخدم في مرحلة الترتيب لعرض الأخبار المخصص. بالإضافة إلى ذلك، نقترح طريقة Decomposer-Decomposer-Decomposer مع ضوضاء الاضطرابات لتحسين حماية معلومات المستخدم الخاصة المشفرة في تمثيلات اهتمام المستخدم. علاوة على ذلك، فإننا نتدرب بشكل تعاوني في تذكر نماذج الترتيب والترتيب على البيانات اللامركزية في عدد كبير من عملاء المستخدمين بطريقة الحفاظ على الخصوصية. تبين التجارب في مجموعات بيانات الأخبار الحقيقية في العالم أن طريقتنا يمكن أن تفوق أساليب خط الأساس وتحمي خصوصية المستخدم بشكل فعال.
