بعد نجاح اهتمام DOT-Product في المحولات، تم اقتراح تقريب عديدة مؤخرا لمعالجة تعقيدها التربيعي فيما يتعلق بطول الإدخال. في حين أن هذه المتغيرات هي الذاكرة وتحسب كفاءة، فمن غير الممكن استخدامها مباشرة مع نماذج اللغة المدربة مسبقا مسبقا تدربت باستخدام ا
هتمام الفانيليا، دون مرحلة ما قبل التدريب التصحيحية باهظة الثمن. في هذا العمل، نقترح تقريب بسيط ولكن دقيق للغاية لاهتمام الفانيليا. نقوم بمعالجة الاستعلامات في قطع، ولكل عملية استعلام، حساب أعلى الدرجات * K * فيما يتعلق بالمفاتيح. يوفر نهجنا عدة مزايا: (أ) استخدام ذاكرةه خطي في حجم الإدخال، على غرار متغيرات الانتباه الخطي، مثل أداء و RFA (B) هو استبدال انخفاض في انتباه الفانيليا الذي لا يتطلب أي تصحيحية -إجراء (ج) يمكن أن يؤدي أيضا إلى وفورات كبيرة في الذاكرة في طبقات الأعلاف إلى الأمام بعد إلقاءها في إطار القيمة المألوفة ذات القيمة الرئيسية. نحن نقيم جودة أعلى - * K * تقريب طبقات الاهتمام متعدد الأطراف على أساس الساحة الطويلة المدى، وللطبقات التغذية من T5 و unifectqa على مجموعات بيانات QA متعددة. نظرا لأن نهجنا يؤدي إلى الدقة التي تظل مما يقرب من انتباه الفانيليا في إكمال متعددة بما في ذلك التدريب من الصفر والضبط الناعم والاستدلال بالرصاص الصفر.
نقوم بتطوير نهج رواية للاستدلال بثقة في المحولات متعددة الطبقات الكبيرة والمكلفة الآن في كل مكان في معالجة اللغة الطبيعية (NLP).تؤدي الأساليب الحسابية المطفأة أو التقريبية إلى زيادة الكفاءة، ولكن يمكن أن تأتي مع تكاليف أداء غير متوقعة.في هذا العمل، ن
قدم القطط - محولات تكيفية واثقة - حيث نزيد في وقت واحد من الكفاءة الحسابية، مع ضمان درجة تحديد الحاسمة مع النموذج الأصلي بثقة عالية.تقوم طريقةنا بتدريب رؤوس التنبؤ الإضافية على رأس الطبقات الوسيطة، وتقريرها بشكل حيوي عند إيقاف تخصيص الجهود الحسابية لكل إدخال باستخدام مصنف تناسق التعريف.لمعايرة التوقعات المبكرة لدينا الحكم، نقوم بصياغة امتداد فريد من التنبؤ المطابق.نوضح فعالية هذا النهج في أربعة مهام التصنيف والانحدار.
نقترح أول هجوم مقاوم للتدرج على المستوى العام على نماذج المحولات.بدلا من البحث عن مثال خصم واحد، نبحث عن توزيع الأمثلة الخصومة المعلمة بواسطة مصفوفة مستمرة قيمة، وبالتالي تمكين التحسين المستندة إلى التدرج.إننا نوضح تجريبيا أن هجومنا الأبيض الخاص بنا
يصل إلى أداء الهجوم الحديثة في مجموعة متنوعة من المهام اللغوية الطبيعية، مما يتفوق على العمل السابق من حيث معدل النجاح العديي مع مطابقة غير محسنة حسب التقييم الآلي والبشري.علاوة على ذلك، نظير على أن هجوم قوي عبر الصندوق الأسود، تم تمكينه بواسطة أخذ العينات من التوزيع العديزي أو يطابق أو يتجاوز الطرق الحالية، في حين يتطلب فقط مخرجات التسمية الصعبة.
ندرس قوة الاهتمام الشامل في بنية المحولات في سياق نقل التعلم للترجمة الآلية، وتوسيع نتائج الدراسات في انتباه متقاطع عند التدريب من الصفر.نقوم بإجراء سلسلة من التجارب من خلال ضبط نموذج الترجمة بشكل جيد على البيانات حيث تغيرت المصدر أو اللغة المستهدفة.
تكشف هذه التجارب أن ضبط المعلمات الراقية فقط فعالة تقريبا مثل ضبط جميع المعلمات (I.E.، نموذج الترجمة بأكمله).نحن نقدم رؤى في سبب هذا هو الحال والمراقبة أن الحد من الضبط الجميل بهذه الطريقة يؤدي إلى تضمين متفاوت المحاذاة عبر الإنترنت.تتضمن الآثار المترتبة على هذا البحث عن الباحثين والممارسين تخفيفا من النسيان الكارثي، وإمكانية ترجمة الطلقة الصفرية، والقدرة على تمديد نماذج الترجمة الآلية إلى العديد من أزواج لغة جديدة مع انخفاض مستوى تخزين المعلمة.
يستلزم الكشف عن الموقف (SD) تصنيف معنويات نص تجاه هدف معين، وهي مهمة فرعية ذات صلة لتحليل تعدين الرأي والوسائط الإعلامية الاجتماعية.وقد استكشفت الأعمال الحديثة تسريب المعرفة تكمل الكفاءة اللغوية والمعرفة الكامنة عن النماذج اللغوية الكبيرة المدربة مسب
قا مع الرسوم البيانية المعرفة المهيكلة (KGS)، ومع ذلك فقد طبقت القليل من الأعمال هذه الأساليب إلى مهمة SD.في هذا العمل، نقوم أولا بتحقيق المعرفة ذات الصلة بالموقف على النماذج المدربة المستندة مسبقا للمحولات في إعداد تسديدة صفرية، مما يدل على المعرفة الحقيقية الكامنة في النماذج حول أهداف SD وحساستها للسياق.ثم ندرب وتقييم نماذج الكشف عن الموقف المخصب على المعرفة على مجموعة بيانات لموقف Twitter، وتحقيق أداء حديثة على حد سواء.
تحتوي المهام القياسية الحالية لمعالجة اللغة الطبيعية على نص مختلف عن النص المستخدم في اليومي غير الرسمي إلى الاتصال الرقمي اليومي. أدى هذا التناقض إلى تدهور الأداء الشديد لنماذج NLP الحديثة عندما يتم ضبطها بشكل جيد على بيانات العالم الحقيقي. طريقة وا
حدة لحل هذه المشكلة هي من خلال التطبيع المعجمي، وهي عملية تحويل النص غير القياسي، وعادة ما تكون من وسائل التواصل الاجتماعي، إلى نموذج أكثر موحدة. في هذا العمل، نقترح نموذج تسلسل تسلسل على مستوى الجملة بناء على MBART، مما يؤدي إلى إطارات المشكلة بمثابة مشكلة ترجمة آلية. نظرا لأن النص الصاخب يمثل مشكلة منتشرة عبر اللغات، وليس الإنجليزية فقط، فإننا نستفيد من التدريب المسبق متعدد اللغات ل MBART لضبطه إلى بياناتنا. في حين أن الأساليب الحالية تعمل بشكل رئيسي على مستوى الكلمة أو الكلمات الفرعية، فإننا نجادل بأن هذا النهج واضح واضح من وجهة نظر تقنية ويبني على شبكات المحولات الموجودة مسبقا. تظهر نتائجنا أنه في حين أن مستوى الكلمة، جوهري، فإن تقييم الأداء هو وراء الطرق الأخرى، فإن نموذجنا يحسن الأداء على مهام خارجية ومصمبة من خلال التطبيع مقارنة بالنماذج التي تعمل على نص وسائل التواصل الاجتماعي الخام وغير المجهزة.
تعرض GPT-3 قدرة تعليمية ملحوظة في السياق من نماذج اللغة واسعة النطاق (LMS) المدربين على مئات البيانات بمليارات النطاق. نحن هنا تعالج بعض المشكلات المتبقية أقل إبلاغ عن ورق GPT-3، مثل LM غير الإنجليزية، وعروض النماذج المختلفة الحجم، وتأثير التحسين الف
وري الذي قدم مؤخرا على التعلم في السياق. لتحقيق ذلك، نقدم Hyperclova، وهو متنقل كوري من 82B GPT-3 المدربين على كوربوس كوري مرئد من الرموز 560B. يعرض HyperClova المعزز من خلال رفيعنا الكوري الخاص بنا، ويعزز HyperClova مع تكوين التدريب لدينا أحدث أداء التعلم الصفرية في السياق وعدد قليل من الأداء في مهام المصب المختلفة في الكورية. أيضا، نعرض فوائد أداء التعلم الفوري وإظهار كيفية دمجه في خط أنابيب الهندسة السريعة. ثم نناقش إمكانية تحقيق نموذج لا يوجد رمز من خلال توفير قدرات النماذج الأولية ل AI لغير خبراء ML عن طريق إدخال ستوديو HyperClova، وهي واجهة هندسة سريعة التفاعلية. أخيرا، نوضح إمكانات أساليبنا بثلاث تطبيقات ناجحة في المنزل.
تؤدي نماذج اللغة المدربة مسبقا بشكل جيد في مجموعة متنوعة من المهام اللغوية التي تتطلب منطق رمزي، مما رفع مسألة ما إذا كانت هذه النماذج تمثل ضمنيا الرموز والقواعد المجردة. نحن نحقق في هذا السؤال باستخدام دراسة حالة أداء بيرت على اتفاقية الفعل الإنجليز
ي - الفعل. على عكس العمل السابق، ندرب حالات متعددة من بيرت من نقطة الصفر، مما يسمح لنا بإجراء سلسلة من التدخلات التي تسيطر عليها وقت ما قبل التدريب. نظرا لأن بيرت تعميم غالبا جيدا حتى تخضع أزواج الفعل التي لم تحدث أبدا في التدريب، مما يشير إلى درجة من السلوك الذي تحكم القواعد. ومع ذلك، نجد أيضا أن هذا الأداء يتأثر بشدة بتردد الكلمات، مع وجود تجارب تظهر أن كل من التردد المطلق لنموذج الفعل، وكذلك التردد بالنسبة إلى الانعطاف البديل، يتم تورطه سببابيا في تنبؤات Bert في وقت الاستدلال وبعد يكشف التحليل الأقرب من تأثيرات التردد هذه أن سلوك بيرت يتوافق مع النظام الذي يطبق بشكل صحيح قاعدة SVA بشكل عام ولكنه يكافح من أجل التغلب على بظر تدريب قوي وتقدير ميزات الاتفاقية (المفرد مقابل الجمع) على البنود المعجمية النادرة.
يحقق المحولات مسبقا أداء ملحوظا عند التدريب وبيانات الاختبار من نفس التوزيع. ومع ذلك، في سيناريوهات العالم الحقيقي، غالبا ما يواجه النموذج حالات خارج التوزيع (OOD) التي يمكن أن تسبب مشاكل شديدة التحول الدلالي في وقت الاستدلال. لذلك، في الممارسة العمل
ية، يجب على نموذج موثوق أن يحدد هذه الحالات، ثم رفضها أثناء الاستدلال أو نقلها إلى النماذج التي تتعامل مع توزيع آخر. في هذه الورقة، نقوم بتطوير طريقة اكتشاف OOD غير مزودة بها، حيث يتم استخدام البيانات الموجودة في التوزيع فقط في التدريب. نقترح أن يلزم المحولات بفقدان مقنعين، مما يحسن من إيصال التمثيلات، بحيث يمكن التمييز بين مثيلات OOD بشكل أفضل عن المعرف. يمكن بعد ذلك اكتشاف هذه الحالات OOD بدقة باستخدام مسافة Mahalanobis في الطبقة السابقة للاشمئزاز. نقوم بتجربة إعدادات شاملة وتحقيق أداء الكشف عن المسؤولية المثالية تقريبا، وتفوق خطوط الأساس بشكل كبير. نحن مزيد من التحقيق في المناولة وراء التحسن، مما يجد أن المزيد من التمثيلات المدمجة من خلال التعلم المتعاقل الذي يعتمد على الهامش يجلب التحسن. نطلق سرد علاماتنا للمجتمع للبحث في المستقبل.
بالنسبة للعديد من المهام، تم تحقيق النتائج الحديثة مع الهندسة المعمارية القائمة على المحولات، مما يؤدي إلى تحول نموذجي في الممارسات من استخدام الهيغات الخاصة بمهام المهام إلى ضبط نماذج اللغة المدربة مسبقا مسبقا. يتكون الاتجاه المستمر في نماذج تدريبية
مع كمية متزايدة باستمرار من البيانات والمعلمات، والتي تتطلب موارد كبيرة. يؤدي إلى بحث قوي لتحسين كفاءة الموارد بناء على تحسينات الخوارزمية والتحسينات التي تم تقييمها للغة الإنجليزية فقط. يثير هذا أسئلة حول قابلية استخدامها عند تطبيقها على مشاكل التعلم الصغيرة، والتي تتوفر كمية محدودة من بيانات التدريب، خاصة لمهام لغات أقل من الموارد. يعد الافتقار إلى كورسا الحجم بشكل مناسب عائقا لتطبيق النهج القائمة على التعلم التي يحركها البيانات ونقلها مع حالات عدم الاستقرار قوية. في هذه الورقة، نقوم بإنشاء أحدث من الجهود المكرسة لسهولة الاستخدام النماذج القائمة على المحولات واقتراح تقييم هذه التحسينات بشأن أداء الإجابة على الأسئلة للغة الفرنسية التي لديها عدد قليل من الموارد. نحن نبذة عن عدم الاستقرار المتعلق ندرة البيانات عن طريق التحقيق في استراتيجيات التدريب المختلفة مع تكبير البيانات وتحسين فرط الحرارة ونقل عبر اللغات. نقدم أيضا نموذجا مدمجا جديدا ل Fralbert الفرنسية التي تثبت أنها تنافسية في إعدادات الموارد المنخفضة.
