نقدم DynaBench، وهي منصة مفتوحة المصدر لإنشاء مجموعة البيانات الديناميكية ومعيار النموذج.يعمل Dynabench في متصفح ويب ويدعم إنشاء DataSet Indictet من الإنسان والنموذج في الحلقة: يسعى المحلقون إلى إنشاء أمثلة سيتطلب من النموذج المستهدف، لكن شخص آخر لن
يفعله.في هذه الورقة، نجرب أن Dynabench يعالج حاجة حاسمة في مجتمعنا: تحقق النماذج المعاصرة بسرعة الأداء المتميز على المهام القياسية ولكن مع ذلك فشلت في أمثلة التحدي البسيطة وتعثرت في سيناريوهات العالم الحقيقي.من خلال Dynabench، يمكن إنشاء DataSet، تطوير النموذج، وتقييم النماذج إبلاغ بعضها البعض مباشرة، مما يؤدي إلى معايير أكثر قوة وغنية بالمعلومات.نقوم بالإبلاغ عن أربع مهام NLP الأولي، مما يوضح هذه المفاهيم وتسليط الضوء على وعد المنصة، ومعالجة الاعتراضات المحتملة على المعايير الديناميكية كمعيار جديد للحقل.
