محدب: كفاءة البيانات ووضع العلامات الفتحة قليلة

نقترح محدب (مستخرج قيمة المحادثة)، وهو نهج عصبي فعال وضبط ناعم لمهام مربع حوار وضع العلامات. بدلا من الاعتماد على أهداف محتملة أكثر عمليا من العمل السابق (مثل النمذجة، ونمذجة اللغة، واختيار الاستجابة)، فإن مهمة محدبة محدبة، وهي مهمة عبء الزوجية الزوجية باستخدام بيانات Reddit، تتماشى بشكل جيد مع استخدامها المقصود على مهام وضع التسلسل. وهذا يتيح تعلم معدلات الفتحات الخاصة بالمجال الخاصة بالمجال بمجرد ضبط طبقات فك تشفير طبقات تسلسل التسلسل العام للأغراض العامة، في حين يتم الاحتفاظ غالبية معلمات النموذج مسبقا المجمدة. نقوم بالإبلاغ عن أداء محدب الحديثة عبر مجموعة من المجالات المتنوعة ومجموعات البيانات لوضع علامات على فتحة الحوار، مع أكبر المكاسب في أكثر الإعدادات الصعبة والعديد من الرصاص. نعتقد أن أوقات محدبة المحدبة المختصرة (أي، فقط 18 ساعة على 12 GPUs) والتكلفة، إلى جانب ضبطها الدقيقة الفعالة وأدائها القوي، وعدت إمكانية النقل والأوسع نطاقا وتوسيع نطاق مهام وضع التسلسل الموفرة للبيانات بشكل عام.