كيفية تحفيز التنين الخاص بك: تدريس وكلاء يحركهم الأهداف للتحدث والتصرف في عوالم الخيال

نسعى إلى إنشاء وكلاء يتصرفون والتواصل مع الوكلاء الآخرين في السعي لتحقيق هدف.تحقيقا لهذه الغاية، نقوم بتمديد الضوء (Urbanek et al. 2019) --- لعبة نصية خيال من الحشد على نطاق واسع - مع مجموعة بيانات من المهام.هذه تحتوي على دوافع لغوية طبيعية مقترنة بأهداف في اللعبة والمظاهرات البشرية؛قد يتطلب إكمال السعي حوار أو إجراءات (أو كليهما).نقدم نظام لتعليم التعزيز (1) يشتمل على التدريب المستندة إلى النمذجة على النمذجة القائمة على النمذجة على النمذجة على نطاق واسع ومقرها مسبقا لإشراف الوكيل مع البثور ذات الصلة؛و (2) يرفع مساحة عمل عوامل من أوامر العمل والحوار، موازنة بين الاثنين.نقوم بإجراء تقييمات طلقة صفرية باستخدام مظاهرات الخبراء البشرية المحتفظ بها، والتي تبين أن عملائنا قادرون على التصرف باستمرار والتحدث بشكل طبيعي فيما يتعلق بدوافعهم.

We seek to create agents that both act and communicate with other agents in pursuit of a goal. Towards this end, we extend LIGHT (Urbanek et al. 2019)---a large-scale crowd-sourced fantasy text-game---with a dataset of quests. These contain natural language motivations paired with in-game goals and human demonstrations; completing a quest might require dialogue or actions (or both). We introduce a reinforcement learning system that (1) incorporates large-scale language modeling-based and commonsense reasoning-based pre-training to imbue the agent with relevant priors; and (2) leverages a factorized action space of action commands and dialogue, balancing between the two. We conduct zero-shot evaluations using held-out human expert demonstrations, showing that our agents are able to act consistently and talk naturally with respect to their motivations.