محولات كفاءة الذاكرة عبر اهتمام Top-K

بعد نجاح اهتمام DOT-Product في المحولات، تم اقتراح تقريب عديدة مؤخرا لمعالجة تعقيدها التربيعي فيما يتعلق بطول الإدخال. في حين أن هذه المتغيرات هي الذاكرة وتحسب كفاءة، فمن غير الممكن استخدامها مباشرة مع نماذج اللغة المدربة مسبقا مسبقا تدربت باستخدام اهتمام الفانيليا، دون مرحلة ما قبل التدريب التصحيحية باهظة الثمن. في هذا العمل، نقترح تقريب بسيط ولكن دقيق للغاية لاهتمام الفانيليا. نقوم بمعالجة الاستعلامات في قطع، ولكل عملية استعلام، حساب أعلى الدرجات * K * فيما يتعلق بالمفاتيح. يوفر نهجنا عدة مزايا: (أ) استخدام ذاكرةه خطي في حجم الإدخال، على غرار متغيرات الانتباه الخطي، مثل أداء و RFA (B) هو استبدال انخفاض في انتباه الفانيليا الذي لا يتطلب أي تصحيحية -إجراء (ج) يمكن أن يؤدي أيضا إلى وفورات كبيرة في الذاكرة في طبقات الأعلاف إلى الأمام بعد إلقاءها في إطار القيمة المألوفة ذات القيمة الرئيسية. نحن نقيم جودة أعلى - * K * تقريب طبقات الاهتمام متعدد الأطراف على أساس الساحة الطويلة المدى، وللطبقات التغذية من T5 و unifectqa على مجموعات بيانات QA متعددة. نظرا لأن نهجنا يؤدي إلى الدقة التي تظل مما يقرب من انتباه الفانيليا في إكمال متعددة بما في ذلك التدريب من الصفر والضبط الناعم والاستدلال بالرصاص الصفر.

الجيل القليل من طاولة الفرص إلى النص مع ذاكرة النموذج الأولي

حققت نماذج جيل الجدول إلى النص العصبي تقدما ملحوظا في صفيف المهام.ومع ذلك، نظرا لطبيعة البيانات الجائعة للبيانات النماذج العصبية، تعتمد عروضها بقوة على أمثلة تدريبية واسعة النطاق، مما يحد من تطبيقها في تطبيقات العالم الحقيقي.لمعالجة هذا، نقترح إطارا جديدا: النموذج الأولي إلى إنشاء (P2G)، لجيل الجدول إلى النص تحت سيناريو القليل من اللقطات.يستخدم الإطار المقترح النماذج الأولية المستردة، التي تم اختيارها بشكل مشترك من قبل نظام IR ومحدد نموذج أولي جديد لمساعدة النموذج الذي سد الفجوة الهيكلية بين الجداول والنصوص.النتائج التجريبية على ثلاثة مجموعات بيانات معيار مع ثلاث نماذج أحدث من النماذج توضح أن الإطار المقترح يحسن بشكل كبير من أداء النموذج عبر مختلف مقاييس التقييم.

تحجيم حجم دفعة التعلم المتعاقبة عميق تحت الذاكرة محدودة الإعداد

تم تطبيق التعلم المتعاقد بنجاح على تعلم تمثيلات ناقلات النص.أظهرت الأبحاث السابقة أن تعلم التمثيلات عالية الجودة يستفيد من الخسارة المنتاقبة ذات الدفعة الحكيمة مع عدد كبير من السلبيات.في الممارسة العملية، يتم استخدام تقنية السلبية الداخلية، حيث سيتم أخذ إيجازات مثال على كل مثال في دفعة أو أمثلة دفعة أخرى كملقياتها، وتجنب ترميز السلبيات الإضافية.ومع ذلك، ومع ذلك، لا تزال هذه الشروط خسارة كل مثال على جميع الأمثلة الدفاعية وتتطلب تركيب الدفعة الكبيرة بأكملها في ذاكرة GPU.تقدم هذه الورقة تقنية مخزئة للتدرج التي تعود فيها العدوى بين الخسارة الناقضة والتشمس، وإزالة التبعية لتشفير الترميز إلى الوراء على طول البعد الدفوع.نتيجة لذلك، يمكن حساب التدرجات لمجموعة فرعية واحدة من الدفعة في وقت واحد، مما يؤدي إلى استخدام الذاكرة المستمر تقريبا.

مقارنة من كلمة قياس التشابه في استرجاع قطاع ذاكرة الترجمة الإنجليزية - العربية

الهدف من هذه الورقة هو التحقيق في نهج قياس التشابه في ذاكرة الترجمة (TM) في خمس أدوات ترجمة بمساعدة كمبيوتر تمثيلي عند استرداد جمل التباين في الفعل في الترجمة باللغة العربية إلى الإنجليزية. في اللغة الإنجليزية، تشمل الملصقات في الأفعال في الأفعال فقط؛ على عكس اللغة الإنجليزية، الأفعال باللغة العربية مشتق من الصوت، والمزاج، والتوتر، والعدد والشخص من خلال الملصقات الانتشارية المختلفة E.G. قبل أو نشر جذر الفعل. يركز السؤال البحثي على إنشاء ما إذا كانت خوارزمية التشابه TM تقيس مزيجا من التثبيتات الانتشاري ككلمة أو كتدخل في الطابع عند استرداد شريحة. إذا تم التعامل معها كتدخل في الطابع، هل تعاقب أنواع التدخل بنفس القدر أو بشكل مختلف؟ يفحص هذه الورقة تجريبيا، من خلال منهجية اختبار الصندوق الأسود وأداة جناح اختبار، والعقوبات التي فرضت الخوارزميات الحالية لأنظمة TM عندما تكون شرائح الإدخال ومصادر TM المستردة هي نفسها بالضبط، باستثناء اختلاف في ملحق لانضمام. من المتوقع أن تكون أنظمة TM بعض المعرفة اللغوية، فإن العقوبة ستكون خفيفة للغاية، والتي ستكون مفيدة للمترجمين، نظرا لأن مباراة عالية التسجيل سيتم تقديمها بالقرب من أعلى قائمة المقترحات. ومع ذلك، فإن تحليل إخراج أنظمة TM يظهر أن التصفيات الانتشارية تعاقب بشكل أكبر من المتوقع بطرق مختلفة. قد يتم التعامل معها كتدخل على الكلمة بأكملها، أو كغير حرف واحد.

بناء جملة النمذجة بشكل صريح في نماذج اللغة مع تحليل تدريجي و Oracle الديناميكي

بناء الجملة أساسي في تفكيرنا حول اللغة.الفشل في التقاط هيكل لغة الإدخال قد يؤدي إلى مشاكل تعميم وتعامل معهم.في العمل الحالي، نقترح نموذجا جديدا للغة في مجال بناء الجملة: ذاكرة ترتيب سنوية (SOM).نماذج النموذج صراحة الهيكل مع محلل تدريجي وتحافظ على إعداد الاحتمالات الشرطي لطراز اللغة القياسية (من اليسار إلى اليمين).لتدريب المحلل التدريجي وتجنب تحيز التعرض، نقترح أيضا أوراكل ديناميكية جديدة، بحيث يكون SOM أكثر قوة لقرارات تحليل خاطئة.تظهر التجارب أن SOM يمكن أن يحقق نتائج قوية في نمذجة اللغة، والتحليل الإضافي، واختبارات التعميم النحوي أثناء استخدام معلمات أقل من النماذج الأخرى.

إعادة النظر في نقاط الضعف في التعزيز لتعليم الترجمة الآلية العصبية

وجدت خوارزميات التدرج السياسي اعتماد واسع في NLP، لكنها أصبحت مؤخرا عرضة للنقد، مما يشك في ملاءمتها ل NMT.تشوشين وآخرون.(2020) حدد نقاط ضعف متعددة والشك في تحديد نجاحهم من خلال شكل توزيعات الإخراج بدلا من المكافأة.في هذه الورقة، نلتأكيد هذه المطالبات ودراسةها تحت مجموعة أوسع من التكوينات.تكشف تجاربنا على التكيف في المجال والمجال عبر المجال أهمية الاستكشاف والمكافآت، وتوفير الأدلة المضادة التجريبية لهذه المطالبات.

زيادة المحولات مع الذاكرة المركبة القائمة على KNN للحوار

يمكن أن تستفيد مهام التعلم المختلفة من الوصول إلى معلومات خارجية عن طرائق مختلفة، مثل النص والصور.ركز العمل الحديث على تعلم الهندسة مع ذكريات كبيرة قادرة على تخزين هذه المعرفة.نقترحنا زيادة شبكات عصبية محول التوليد مع وحدات جلب المعلومات المستندة إلى KNN (KIF).تعلم كل وحدة KIF عملية قراءة للوصول إلى المعرفة الخارجية الثابتة.نحن نطبق هذه الوحدات النمطية لنمذجة الحوار المولاد، وهي مهمة صعبة حيث يجب استرجاع المعلومات بشكل مرني وإدماجها للحفاظ على موضوع وتدفق المحادثة.نوضح فعالية نهجنا من خلال تحديد المعرفة ذات الصلة المطلوبة للحوار دراية ولكن المشاركة من Wikipedia، والصور، وإظهار أن الاستفادة من هذه المعلومات المستردة تعمل على تحسين أداء النموذج، ويتم قياسه بواسطة التقييم التلقائي والإنساني.

تحليل الدلالات المستندة إلى الذاكرة

الملخص نقدم نموذجا يستند إلى الذاكرة للتحليل الدلالي المعتمد على السياق.تركز النهج السابقة على تمكين وحدة فك الترميز لنسخ أو تعديل التحليل من الكلام السابق، على افتراض وجود تبعية بين الحواجز الحالية والسابقة.في هذا العمل، نقترح تمثيل معلومات سياقية باستخدام ذاكرة خارجية.نحن نتعلم وحدة تحكم ذاكرة السياق التي تدير الذاكرة عن طريق الحفاظ على المعنى التراكمي لإعلام المستخدمين المتسلسلين.نقيم نهجنا على ثلاثة معايير تحليل الدلالات.تظهر النتائج التجريبية أن طرازنا يمكن أن يقوم بتحسين معالجة المعلومات التي تعتمد على السياق وتظهر الأداء المحسن دون استخدام أجهزة فك تشفير المهام الخاصة.

إرادة النسيان: اللغة و التاريخ عند بول ريكور

يناقش هذا البحث رؤية ريكور لمسألة إرادة النسيان, و قدرة الذاكرة على تجاوز فكرة تمثيل الماضي. و البحث فيها بوصفها مشروعاً للمستقبل. المستقبل الذي يتيح للإنسان التذكر و النسيان, الصفح و العفو. كل ذلك يتم تحت ما أسماه ريكور" باالأنا القادر". و تالياً, من أجل الوصول إلى ذاكرة سعيدة حيث النسيان صورة من صور هذه الذاكرة. انطلاقاً من ذلك يعرض البحث بداية العلاقة بين التاريخ و الذاكرة من حيث هي علاقة تداخل و تشابك كما رأى ريكور. ثم يناقش البحث علاقة الذاكرة باللغة, من خلال وساطتها السردية. فالسرد بحسب ريكور وسيلة يستخدمها الناس للتعبير عن تجربة عدم نسيانهم للماضي, و أن عليهم أن يعيدوا الماضي للحياة من خلال إعادة تشريعه في القصص. و من ثم البحث في فكرة إرادة النسيان, و العلاقة التي تربط النسيان بالذاكرة, و التي تظهر عند ريكور بكونها علاقة تكاملية؛ بمعنى لا نسيان من دون تذكر, و لا تذكر من دون نسيان, و بالرغم من ذلك فالذاكرة تبقى في حيرة كما يرى ريكور. بمعنى أخر, تحتار في أي تاريخ تستعيد و تتملك من جديد, و أي تاريخ تنسى. الأمر الذي اقتضى البحث في الذاكرة بوصفها مشروعاً للمستقبل كما أكد ريكور. ليخلص هذا البحث إلى نتائج أردناها مكثفة حول روية ريكور لهذه المسألة.

الجولان و الذاكرة الوطنية

الجولان ليس مجرد هضبة و جبال و سهول و وديان تبلغ مساحتها ( 1860 كم 2 و قد وقع تحت الاحتلال الصهيوني منها نحو ( 1254 كم 2)، ثم انسحبت قواته من مساحة ( 100 كم 2) بموجب اتفاقية الفصل عام ( 1974 م)... و لا هو مجرد مياه و أشجار، تزين طبيعتها و أضرحة و آثار؛ و كنائس و مساجد و عمران تغني تاريخها.. و ليست مجرد قطعة من الأرض تمتاز بموقعها الجغرافي؛ و سجلها التاريخي الثري بالأحداث و الانتصارات التي انعقدت على رايات الجيوش و لا سيما العربية الإسلامية...