تجمع أبحاث معالجة اللغة الطبيعية (NLP) بين دراسة المبادئ العالمية، من خلال العلوم الأساسية، مع استهداف العلوم التطبيقية في حالات الاستخدام وإعدادات محددة. ومع ذلك، غالبا ما يفترض عملية التبادل بين NLP والتطبيقات الأساسية في كثير من الأحيان الظهور بشك
ل طبيعي، مما أدى إلى العديد من الابتكارات التي تسير دون مبرر والعديد من الأسئلة المهمة تركت غير مستعصة. نحن نصف نموذج جديد من Translationations NLP، الذي يهدف إلى بنية وتيسير العمليات التي تبلغ بها بحث NLP الأساسي والتطبيقي بعضها البعض. وبالتالي يعرض NLP نموذجا للبحث الثالث، ركز على فهم التحديات التي تطرحها احتياجات التطبيق وكيف يمكن أن تدفع هذه التحديات الابتكار في تصميم العلوم والتكنولوجيا الأساسية. نظرا لأن العديد من التطورات المهمة في أبحاث NLP قد برزت من تقاطع المبادئ الأساسية مع احتياجات الطلب، وتقديم إطار مفاهيمي يحدد أصحاب المصلحة والأسئلة الرئيسية في البحوث المتعلقة بالجمالية. يوفر إطار عملنا خريطة طريق لتطوير Translationations NLP كجال بحث مخصص، وتحدد المبادئ التعليمية العامة لتسهيل التبادل بين البحوث الأساسية والتطبيقية.
نقدم DynaBench، وهي منصة مفتوحة المصدر لإنشاء مجموعة البيانات الديناميكية ومعيار النموذج.يعمل Dynabench في متصفح ويب ويدعم إنشاء DataSet Indictet من الإنسان والنموذج في الحلقة: يسعى المحلقون إلى إنشاء أمثلة سيتطلب من النموذج المستهدف، لكن شخص آخر لن
يفعله.في هذه الورقة، نجرب أن Dynabench يعالج حاجة حاسمة في مجتمعنا: تحقق النماذج المعاصرة بسرعة الأداء المتميز على المهام القياسية ولكن مع ذلك فشلت في أمثلة التحدي البسيطة وتعثرت في سيناريوهات العالم الحقيقي.من خلال Dynabench، يمكن إنشاء DataSet، تطوير النموذج، وتقييم النماذج إبلاغ بعضها البعض مباشرة، مما يؤدي إلى معايير أكثر قوة وغنية بالمعلومات.نقوم بالإبلاغ عن أربع مهام NLP الأولي، مما يوضح هذه المفاهيم وتسليط الضوء على وعد المنصة، ومعالجة الاعتراضات المحتملة على المعايير الديناميكية كمعيار جديد للحقل.
