بايت زوج ترميز (BPE) هي خوارزمية في كل مكان في عملية تكييف الكلمات الفرعية لنماذج اللغة لأنها توفر فوائد متعددة. ومع ذلك، فإن هذه العملية تستند فقط إلى إحصاءات بيانات ما قبل التدريب، مما يجعل من الصعب على الممتلزمية أن تتعامل مع هجاء نادرة. من ناحية
أخرى، على الرغم من أن طراز أخطاء إملائي، إلا أن نماذج على مستوى الطابع النقي غالبا ما تؤدي إلى تسلسل طويل غير معقول وجعل الأمر أكثر صعوبة في تعلم النموذج كلمات ذات معنى. لتخفيف هذه التحديات، نقترح وحدة الكلمات الفرعية القائمة على الطابع (Char2Subword) التي تتعلم جدول تضمين الكلمات الفرعية في النماذج المدربة مسبقا مثل Bert. تقوم وحدة char2subword الخاصة بنا بإنشاء تمثيلات من الشخصيات من المفردات الفرعية، ويمكن استخدامها كإستبدال قطرة من جدول تضمين الكلمات الفرعية. الوحدة النمطية قوية لتعديلات مستوى الأحرف مثل أخطاء إملائي، انعطاف Word، غلاف، علامات الترقيم. نحن ندمجها أكثر مع بيرت من خلال التدريب المسبق مع الحفاظ على معلمات محول بيرت الثابتة - وبالتالي توفير طريقة عملية. أخيرا، نوضح أن دمج الوحدة النمطية الخاصة بنا إلى mbert يحسن بشكل كبير الأداء في معيار التقرير اللغوي لوسائل الإعلام الاجتماعية (LINCE).
في طرازات اللغة عبر اللغات، تعيش تمثيلات للعديد من اللغات المختلفة في نفس المساحة. هنا، نحقق في العوامل اللغوية وغير اللغوية التي تؤثر على محاذاة على مستوى الجملة في نماذج اللغة المحددة مسبقا بين 101 لغة و 5،050 زوج لغة. باستخدام LASTE BERT-القائم عل
ى BERT و LASER المستندة إلى BILSTM كنماذجنا، والكتاب المقدس كجورتنا، نحسب مقياسا يستند إلى المهمة لمحاذاة عبر اللغات في شكل أداء استرجاع BiteXT، بالإضافة إلى أربعة تدابير جوهرية لمساحة المتجهات المحاذاة والتزييف. ثم ندرس مجموعة من الميزات اللغوية واللغوية واللغوية والمتعلقة التدريبية كتنبؤ محتمل من مقاييس المحاذاة. تظهر نتائج تحليلاتنا أن اتفاقية ترتيب الكلمات والاتفاق في التعقيد المورفولوجي هي اثنتان من أقوى المتنبئ اللغوي للقلق. نلاحظ أيضا البيانات التدريبية في الأسرة كمؤشر أقوى من بيانات التدريب المحددة باللغة في جميع المجالات. نحن نتحقق من بعض النتائج اللغوية لدينا من خلال النظر في تأثير تجزئة مورفولوجية على محاذاة اللغة الإنجليزية - غير الأجنبية، بالإضافة إلى دراسة تأثير اتفاقية ترتيب الكلمات على ISomorphism ل 66 أزواج لغة الطلقة الصفرية من كائن مختلف. نحن نجعل البيانات والرمز تجاربنا متاحة للجمهور.
يتم قبولها على نطاق واسع أن نماذج اللغة المدربة مسبقا بشكل كبير توفر عادة تحسينات الأداء في مهام المصب. ومع ذلك، هناك دراسات محدودة حول الأسباب الكامنة وراء هذه الفعالية، لا سيما من وجهة نظر التغييرات الهيكلية في مساحة التضمين. في محاولة لملء هذه الف
جوة، في هذه الورقة، نقوم بتحليل المدى الذي يتغير فيه iSotropy من مساحة التضمين بعد ضبط الدقيقة. نوضح ذلك، على الرغم من أن ISOTROPY هي خاصية هندسية مرغوبة، لا يؤدي الضبط بشكل جيد بالضرورة إلى تحسينات ISOTROPY. علاوة على ذلك، تخضع الهياكل المحلية في تمثيلات الكلمات السياقية المدربة مسبقا (CWRS)، مثل تلك الأنواع أو التردد المميز للترميز، من تغيير هائل أثناء الضبط الجمني. تظهر تجاربنا نموا دراماتيكيا في عدد الاتجاهات الممدودة في مساحة التضمين، والتي، على النقيض من CWRS المدربة مسبقا، تحمل المعرفة اللغوية الأساسية في مساحة التضمين الدقيقة، مما يجعل أساليب تعزيز ISOTROPY الحالية غير فعالة.
يتم تدريب نماذج التسلسل الحالية للتسلسل لتقليل الانتروبي عبر الانتروبيا واستخدام SoftMax لحساب الاحتمالات العادية محليا على تسلسلات الهدف. على الرغم من أن هذا الإعداد قد أدى إلى نتائج قوية في مجموعة متنوعة من المهام، فإن إحدى الجوانب غير المرضية هي ا
لتحيز الطول: تمنح النماذج درجات عالية لفرضيات قصيرة وعدم كفاية وغالبا ما تجعل السلسلة الفارغة The Argmax --- ما يسمى القط حصلت على لسانك مشكلة. تقدم نماذج تسلسل متناشرة مقرها ENTMAX مؤخرا حلا محتملا، نظرا لأنهم يستطيعون تقليص مساحة البحث عن طريق تعيين احتمال صفر لفرضيات سيئة، ولكن قدرتهم على التعامل مع المهام على مستوى الكلمات مع المحولات قد تم اختبارها قط. في هذا العمل، نظهر أن النماذج المستندة إلى Entmax تحل فعليا القط حصلت على مشكلة لسانك، وإزالة مصدر رئيسي لخطأ نموذج الترجمة الآلية العصبية. بالإضافة إلى ذلك، نعيد بتعميم تجانس الملصقات، وهي تقنية تنظيمية حاسمة، إلى عائلة أوسع من الخسائر الشابة الشابة، والتي تشمل كل من انتروبيا وخسائر Entmax. وضعت نماذج خسارة Entmax الناتجة عن الملصقات الناتجة حالة جديدة من الفن على تحويل Grapheme-Vooneme في Grapheme وتقديم التحسينات وخصائص معايرة أفضل على الانعطاف المورفولوجي عبر اللغات والترجمة الآلية لمدة 7 أزواج لغة.
غالبا ما تظهر اللغة الطبيعية هيكل هرمي متأصل متأرجلا مع بناء جملة معقدة ودليل. ومع ذلك، تعلم معظم النماذج الإدارية العميقة في أحدث تضمينها فقط في مساحة ناقلات Euclidean، دون محاسبة هذه الملكية الهيكلية للغة. في هذه الورقة، نحقق في جيل النص في مساحة ك
امنة ضئيلة لتعلم التمثيلات الهرمية المستمرة. يتم تقديم AutoNECODER AUTONICODER AUTONCODER (APO-VAE)، حيث يتم تعريف كل من الخلفية السابقة والتنتهي من المتغيرات الكامنة عبر كرة شاذة عبر التوزيعات العادية ملفوفة. من خلال اعتماد الصيغة البدائية المزدوجة لمخلاص Kullback-Leibler، يتم تقديم إجراء تعلم الخصم لتمكين التدريب النموذجي القوي. توضح تجارب واسعة النمذجة في النمذجة اللغوية ونقل النمط غير المعقول وتوليد استجابة الحوار فعالية نموذج APO-VAE المقترح على VAES في الفضاء الكامن Euclidean، وذلك بفضل قدراته الرائعة في التقاط التسلسلات الهرمية للغة الكامنة في الفضاء القطعي.
كيف يفهم الناس معنى كلمة صغيرة "عند استخدامها لوصف البعوض أو الكنيسة أو كوكب؟في حين أن البشر لديهم قدرة رائعة على تشكيل معاني من خلال الجمع بين المفاهيم القائمة، فإن نمذجة هذه العملية تحديا.تتناول هذه الورقة هذا التحدي من خلال Cerebra (تمثيلات المعنى
المعنى المعني بالسياق في الدماغ) نموذج الشبكة العصبية.يميز Cerebra كيف يتكيف معاني الكلمات بشكل ديناميكي في سياق جملة من خلال الحكم المتحلل في جمهورية FMRI إلى الكلمات والكلمات في ميزات الدلالية المجدولة في الدماغ.يوضح أن الكلمات في سياقات مختلفة لها تمثيلات مختلفة والكلمة التي تعني التغييرات بطريقة ذات معنى إلى الموضوعات البشرية.يمكن أن تستخدم التمثيلات القائمة على سياق Cerebra لجعل تطبيقات NLP أكثر تشبه الإنسان.
غالبا ما تستخدم Lemmatization من اللغات الغنية المورفولوجية لمعالجة القضايا الناجمة عن التعقيد المورفولوجي، التي أجريتها Lemmatizers القائم على القواعد.نقترح بديلا لهذا، في شكل أداة تقوم بتنفيذ Lemmatization في مساحة Word Embeddings.تضيء كلمة كتمثيل
موزز أصلي بعض المعلومات حول العلاقة بين الأساس والنماذج المؤذية، وإظهار أنه من الممكن تعلم التحول الذي يوصي ما يقرب من تضييق أشرطة النماذج التي تم تأصيلها إلى Admass of the المقابلة.يؤدي هذا إلى تسهيل خط أنابيب معالجة بديل يحل محل الليمات التقليدية مع التحول الليمون في معالجة المصب لأي تطبيق.نوضح الطريقة في اللغة الفنلندية، مما يتفوق على Lemmatizers التقليدية على سبيل المثال مهمة مقارنة تشابه الوثيقة، ولكن النهج مستقلة للغة ويمكن تدريب لغات جديدة مع متطلبات خفيفة.
مجردة معظم مجموعات مهام NLP والأصناف اللغوية تفتقر إلى أمثلة في المجال للتدريب الخاضع للإشراف بسبب قلة البيانات المشروحة. كيف يمكن النماذج العصبية أن تجعل تعميمات فعالة للعينة من مجموعات لغات المهام مع البيانات المتاحة للموارد المنخفضة؟ في هذا العمل،
نقترح نموذجا إيلائيا بايزيا لمساحة المعلمات العصبية. نفترض أن هذه المساحة يمكن أن تعصبها في متغيرات كامنة لكل لغة وكل مهمة. نحن نستنتج المشتريات حول هذه المتغيرات الكامنة بناء على بيانات من مجموعات لغة المهام المشاهدة من خلال الاستدلال المتغيرات. وهذا يتيح تصنيف صفري بالرصاص على مجموعات غير مرئية في وقت التنبؤ. على سبيل المثال، نظرا لبيانات التدريب للتعرف على الكيان المسمى (NER) في الفيتنامية ولليزة جزء من الكلام (POS) (POS) في Wolof، يمكن أن يؤدي نموذجنا إلى إجراء تنبؤات دقيقة ل NER في Wolof. على وجه الخصوص، نقوم بتجربة عينة متنوعة من 33 لغة من 4 قارات و 11 أسرة، وإظهار أن نموذجنا ينتج عنه نتائج قابلة للمقارنة أو أفضل من أساليب التحويل المتبادلة الصفرية من بين الفن. يتوفر الكود الخاص بنا في github.com/cambridgeltl/parameter-factorization.
مع زيادة الاهتمام بالتخطيط الإقليمي و المكاني في العالم و ضرورة الاهتمام بأساليب التنمية المكانية الحديثة، زاد التفكير بضرورة الشبكات الحضرية كآلية لتحقيق التنمية المكانية في المدن المتوسطة و الصغيرة التي تعمل بمفردها، من خلال تغيير الهيكل المكاني لل
إقليم و رفع مستوى الاستخدام النوعي و الكمي له، و ما يترتب عليه من علاقات لتجميع أصول و موارد مدن الإقليم و التي تقبل المشاركة في الفرص و المخاطر المحتملة.تم تطبيق الدراسة التحليلية باقتراح شبكة حضرية في إقليم دمشق الكبرى تدرس العقد و الوصلات، و استخدام نظام التحليل SWOT لبحث الفرص و الإمكانيات و علاقتها بالإشكاليات و المحددات لاختيار السيناريو الأفضل للشبكة الحضرية يدرس مدى تأثير تطبيق مفهوم الشبكة الحضرية على تغيير الهيكل المكاني لإقليم دمشق الكبرى، كما تقترح آلية عمل قابلة للتنفيذ على المستوى المكاني-القطاعي. و يتوصل البحث في نهايته إلى مجموعة من النتائج و التوصيات، تحدد أهمية الربط الشبكي للمدن حسب موقعها، قادرة على التكيف مع التغيرات الحاصلة لمدننا السورية في ظل عدم وجود رؤية مستقبلية للتنمية الإقليمية تتلاءم مع الوضع الراهن، تراعي التغيرات الاقتصادية و الاجتماعية و المكانية الحاصلة و التي تعيق تحقيق الإطار الوطني للتخطيط الإقليمي المقترح في عام 2010
يهدف البحث الحالي لتعرف العلاقة بين التكيف الاجتماعي للأطفال و درجة تحصيلهم الدراسي، و تعرف تأثير متغير الجنس في ذلك، و ذلك في شريحة من الأطفال الذين هجرت أسرهم خلال فترة الأزمة السورية من مناطق ريف دمشق إلى مدينة جرمانا
تم استخدام المنهج التحليلي ا
لوصفي في الدراسة الميدانية و طريقة المسح بالعينة التي تكونت من 100 طفل و طفلة من أطفال المساحة الصديقة للطفل بمدينة جرمانا، و تمثلت أداة البحث من استبيان لقياس مدى التوافق الاجتماعي و التحصيل الدراسي للأطفال، و قد توصل البحث إلى مجموعة من النتائج من أهمها:
- عدم وجود علاقة ارتباطية ذات دلالة احصائية بين التكيف الاجتماعي لدى أفراد العينة و التحصيل الدراسي.
- وجدت علاقة ارتباطية ذات دلالة احصائية بين التكيف الاجتماعي لأفراد العينة الإناث و التحصيل الدراسي.
- لم توجد علاقة ارتباطية ذات دلالة احصائية بين التكيف الاجتماعي لأفراد العينة الذكور و التحصيل الدراسي.
