على الرغم من الأداء الرائع للنماذج التوليدية واسعة النطاق في محادثة مفتوحة، من المعروف أنها أقل عملية لبناء أنظمة محادثة في الوقت الفعلي بسبب ارتفاع الكمون. من ناحية أخرى، يمكن أن تعيد نماذج استرجاع الردود بأشياء أقل بكثير ولكنها تظهر أداء أدنى للنماذج الإدارية على نطاق واسع لأن جودة المحادثة تحدها مجموعة استجابة محددة مسبقا. للاستفادة من كلتا النهجين، نقترح طريقة تدريب جديدة تسمى G2R (التقطير الاسترجلي من الاسترجاع) التي تحافظ على كفاءة نموذج استرجاع مع الاستفادة من القدرة على التحدث نموذجا إيديا واسع النطاق عن طريق غرس المعرفة بالتوليد نموذج في نموذج الاسترجاع. تتكون G2R من تقنيتين متميزتين من التقطير: يعزز G2R على مستوى البيانات مجموعة بيانات الحوار مع ردود إضافية النموذج المولد النطاق، وينقل G2R على مستوى النموذج درجة جودة الاستجابة التي تم تقييمها بواسطة نموذج التوليد إلى درجة نموذج الاسترجاع عن طريق فقدان المعرفة في التقطير. من خلال تجارب واسعة بما في ذلك التقييم البشري، نوضح أن نظام المحادثة المستندة إلى استرجاعنا المدربين مع G2R يدل على أداء محسن بشكل كبير مقارنة بنموذج استرجاع الأساس أثناء إظهار زمن الاستدلال الأساسي بشكل كبير من النماذج الإدارية على نطاق واسع.
Despite the remarkable performance of large-scale generative models in open-domain conversation, they are known to be less practical for building real-time conversation systems due to high latency. On the other hand, retrieval models could return responses with much lower latency but show inferior performance to the large-scale generative models since the conversation quality is bounded by the pre-defined response set. To take advantage of both approaches, we propose a new training method called G2R (Generative-to-Retrieval distillation) that preserves the efficiency of a retrieval model while leveraging the conversational ability of a large-scale generative model by infusing the knowledge of the generative model into the retrieval model. G2R consists of two distinct techniques of distillation: the data-level G2R augments the dialogue dataset with additional responses generated by the large-scale generative model, and the model-level G2R transfers the response quality score assessed by the generative model to the score of the retrieval model by the knowledge distillation loss. Through extensive experiments including human evaluation, we demonstrate that our retrieval-based conversation system trained with G2R shows a substantially improved performance compared to the baseline retrieval model while showing significantly lower inference latency than the large-scale generative models.
References used
https://aclanthology.org/
Large-scale language models such as GPT-3 are excellent few-shot learners, allowing them to be controlled via natural text prompts. Recent studies report that prompt-based direct classification eliminates the need for fine-tuning but lacks data and i
GPT-3 shows remarkable in-context learning ability of large-scale language models (LMs) trained on hundreds of billion scale data. Here we address some remaining issues less reported by the GPT-3 paper, such as a non-English LM, the performances of d
The key challenge of question answering over knowledge bases (KBQA) is the inconsistency between the natural language questions and the reasoning paths in the knowledge base (KB). Recent graph-based KBQA methods are good at grasping the topological s
We introduce SPARTA, a novel neural retrieval method that shows great promise in performance, generalization, and interpretability for open-domain question answering. Unlike many neural ranking methods that use dense vector nearest neighbor search, S
The embedding-based large-scale query-document retrieval problem is a hot topic in the information retrieval (IR) field. Considering that pre-trained language models like BERT have achieved great success in a wide variety of NLP tasks, we present a Q