معايرة المستمعين الخاص بك!التدريب القائم على الاتصالات القوية للمتحدثين العمليين

أن تكون شركاء محادثة جيدة، يجب تدريب أنظمة معالجة اللغة الطبيعية (NLP) على إنتاج كلمات مفيدة بشكل سياق. حقق العمل المسبق في تدريب أنظمة NLP بالأهداف القائمة على الاتصالات، حيث يقف المستمع العصبي كشريك اتصال. ومع ذلك، فإن هذه الأنظمة تعاني عادة من الانجراف الدلالي حيث تتلاشى اللغة المستفادة جذريا من اللغة الطبيعية. نقترح طريقة تستخدم سكان المستمعين العصبيين لتنظيم تدريب المتكلم. نوضح أولا أن الانجراف اللغة ينشأ من معايرة عدم اليقين الفقيرة لمستمع عصبي، مما يجعل تنبؤات عالية اليقين على جمل الرواية. نستكشف من مجموعات المستمعين الفرقة والمقرها الفرقة والتسرب والعثور على أن النتائج السابقة في تحسين كمية عدم اليقين بشكل أفضل. نقيم كل من الأهداف القائمة على السكان بشأن الألعاب المرجعية، وإظهار أن طريقة الفرقة مع معايرة أفضل تمكن المتحدث من توليد الكلام البراغماتية مع التحول إلى مفردات كبيرة وتعميم للألعاب والمستمعين الجديدة.

To be good conversational partners, natural language processing (NLP) systems should be trained to produce contextually useful utterances. Prior work has investigated training NLP systems with communication-based objectives, where a neural listener stands in as a communication partner. However, these systems commonly suffer from semantic drift where the learned language diverges radically from natural language. We propose a method that uses a population of neural listeners to regularize speaker training. We first show that language drift originates from the poor uncertainty calibration of a neural listener, which makes high-certainty predictions on novel sentences. We explore ensemble- and dropout-based populations of listeners and find that the former results in better uncertainty quantification. We evaluate both population-based objectives on reference games, and show that the ensemble method with better calibration enables the speaker to generate pragmatic utterances while scaling to a large vocabulary and generalizing to new games and listeners.