Subscribe to the gold package and get unlimited access to Shamra Academy
Register a new userSelf-Instruct: Aligning Language Model with Self Generated Instructions
التعليمات الذاتية: محاذاة نموذج اللغة مع التعليمات الذاتية
639
1 0
0.0
(
0
)
Created by
Shamra Editor
Ask ChatGPT about the research
النماذج اللغوية الكبيرة "المضبوطة للتعليمات" (التي تم ضبطها للاستجابة للتعليمات) قد أظهرت قدرة ملحوظة على التعميم بدون أي تدريب في مهام جديدة. ومع ذلك، فإنها تعتمد بشدة على بيانات التعليمات المكتوبة بواسطة الإنسان والتي تكون محدودة في الكمية والتنوع والإبداع، مما يعيق عملية التعميم للنموذج المضبوط. نقدم "Self-Instruct"، وهو إطار عمل لتحسين قدرات اتباع التعليمات لنماذج اللغة المدربة مسبقًا عن طريق الاستفادة من توليداتها الخاصة. يقوم خط أنابيبنا بتوليد عينات من التعليمات والإدخال والإخراج من نموذج اللغة، ثم يقوم بتقليصها قبل استخدامها لضبط النموذج الأصلي. باستخدام طريقتنا على GPT3 الأساسية، نظهر تحسينًا مطلقًا بنسبة 33٪ على نموذج Super-NaturalInstructions الأصلي، وهو متوافق مع أداء InstructGPT_001، والذي يتم تدريبه باستخدام بيانات مستخدم خاصة وتعليمات بشرية. لتقييم أعمق، نحن نضع مجموعة من التعليمات المكتوبة من قبل خبراء للمهام الجديدة، ونظهر من خلال التقييم البشري أن ضبط GPT3 باستخدام Self-Instruct يفوق استخدام مجموعات بيانات التعليمات العامة الموجودة حاليًا بفارق كبير، ولا يترك سوى فجوة بنسبة 5٪ خلف InstructGPT_001. يوفر Self-Instruct طريقة تقريبًا خالية من التعليقات لمزامنة نماذج اللغة المدربة مسبقًا مع التعليمات، ونحن نطلق مجموعة بيانات اصطناعية كبيرة لتسهيل الدراسات المستقبلية حول ضبط التعليمات.
Large "instruction-tuned" language models (finetuned to respond to instructions) have demonstrated a remarkable ability to generalize zero-shot to new tasks. Nevertheless, they depend heavily on human-written instruction data that is limited in quantity, diversity, and creativity, therefore hindering the generality of the tuned model. We introduce Self-Instruct, a framework for improving the instruction-following capabilities of pretrained language models by bootstrapping off its own generations. Our pipeline generates instruction, input, and output samples from a language model, then prunes them before using them to finetune the original model. Applying our method to vanilla GPT3, we demonstrate a 33% absolute improvement over the original model on Super-NaturalInstructions, on par with the performance of InstructGPT_001, which is trained with private user data and human annotations. For further evaluation, we curate a set of expert-written instructions for novel tasks, and show through human evaluation that tuning GPT3 with Self-Instruct outperforms using existing public instruction datasets by a large margin, leaving only a 5% absolute gap behind InstructGPT_001. Self-Instruct provides an almost annotation-free method for aligning pre-trained language models with instructions, and we release our large synthetic dataset to facilitate future studies on instruction tuning.
Artificial intelligence review:
Research summary
تقدم الورقة البحثية إطار عمل يسمى SELF-INSTRUCT لتحسين قدرات النماذج اللغوية المدربة مسبقًا على اتباع التعليمات من خلال استخدام إشارات تعليمية يتم توليدها ذاتيًا. يتضمن الإطار عملية تكرارية تبدأ بمجموعة صغيرة من التعليمات المكتوبة يدويًا، ثم يتم استخدام النموذج اللغوي لتوليد تعليمات جديدة ومثيلات مدخلات ومخرجات لها. يتم تنقية هذه التعليمات والمثيلات قبل استخدامها لتدريب النموذج الأصلي. تُظهر النتائج أن النموذج المدرب باستخدام SELF-INSTRUCT يتفوق بشكل كبير على النموذج الأصلي ويقترب من أداء النماذج المدربة باستخدام بيانات تعليمات مكتوبة يدويًا ومكلفة. يتميز الإطار بقدرته على توليد مجموعة كبيرة ومتنوعة من التعليمات مع تقليل الاعتماد على البيانات المكتوبة يدويًا، مما يجعله طريقة فعالة لتحسين نماذج اللغة المدربة مسبقًا على اتباع التعليمات.
Critical review
تُعد ورقة SELF-INSTRUCT إضافة قيمة لمجال معالجة اللغة الطبيعية، حيث تقدم طريقة مبتكرة لتحسين أداء النماذج اللغوية في اتباع التعليمات. ومع ذلك، هناك بعض النقاط التي يمكن تحسينها. أولاً، تعتمد الطريقة بشكل كبير على جودة النموذج اللغوي المستخدم في البداية، مما قد يحد من فعالية الإطار في حالة استخدام نماذج أقل كفاءة. ثانيًا، قد تواجه الطريقة تحديات في التعامل مع التعليمات غير الشائعة أو الإبداعية التي قد لا تكون ممثلة بشكل جيد في بيانات التدريب الأصلية. أخيرًا، هناك حاجة لمزيد من الدراسات لفهم تأثير حجم النموذج والمعلمات الأخرى على أداء الإطار. على الرغم من هذه التحديات، تُعد SELF-INSTRUCT خطوة مهمة نحو تحسين نماذج اللغة المدربة مسبقًا على اتباع التعليمات بطرق أكثر فعالية وأقل تكلفة.
Questions related to the research
-
ما هو الهدف الرئيسي من إطار SELF-INSTRUCT؟
الهدف الرئيسي من إطار SELF-INSTRUCT هو تحسين قدرات النماذج اللغوية المدربة مسبقًا على اتباع التعليمات من خلال استخدام إشارات تعليمية يتم توليدها ذاتيًا وتقليل الاعتماد على البيانات المكتوبة يدويًا.
-
كيف يتم توليد التعليمات الجديدة في إطار SELF-INSTRUCT؟
يتم توليد التعليمات الجديدة في إطار SELF-INSTRUCT من خلال نموذج لغوي يتم تحفيزه باستخدام مجموعة صغيرة من التعليمات المكتوبة يدويًا، ثم يتم تنقية التعليمات والمثيلات الناتجة قبل استخدامها لتدريب النموذج الأصلي.
-
ما هي الفوائد الرئيسية لاستخدام SELF-INSTRUCT مقارنة بالطرق التقليدية؟
الفوائد الرئيسية لاستخدام SELF-INSTRUCT تشمل تحسين أداء النماذج اللغوية في اتباع التعليمات، تقليل الاعتماد على البيانات المكتوبة يدويًا والمكلفة، وتوفير طريقة فعالة لتوليد مجموعة كبيرة ومتنوعة من التعليمات.
-
ما هي التحديات المحتملة التي قد تواجه إطار SELF-INSTRUCT؟
التحديات المحتملة تشمل الاعتماد على جودة النموذج اللغوي المستخدم في البداية، صعوبة التعامل مع التعليمات غير الشائعة أو الإبداعية، والحاجة لمزيد من الدراسات لفهم تأثير حجم النموذج والمعلمات الأخرى على أداء الإطار.
References used
No references
rate research
Read More
For any E-commerce website it is a nontrivial problem to build enduring advertisements that attract shoppers. It is hard to pass the creative quality bar of the website, especially at a large scale. We thus propose a programmatic solution to generate
product advertising headlines using retail content. We propose a state of the art application of Reinforcement Learning (RL) Policy gradient methods on Transformer (Vaswani et al., 2017) based Masked Language Models (Devlin et al., 2019). Our method creates the advertising headline by jointly conditioning on multiple products that a seller wishes to advertise. We demonstrate that our method outperforms existing Transformer and LSTM + RL methods in overlap metrics and quality audits. We also show that our model generated headlines outperform human submitted headlines in terms of both grammar and creative quality as determined by audits.
The use of attention mechanisms in deep learning approaches has become popular in natural language processing due to its outstanding performance. The use of these mechanisms allows one managing the importance of the elements of a sequence in accordan
ce to their context, however, this importance has been observed independently between the pairs of elements of a sequence (self-attention) and between the application domain of a sequence (contextual attention), leading to the loss of relevant information and limiting the representation of the sequences. To tackle these particular issues we propose the self-contextualized attention mechanism, which trades off the previous limitations, by considering the internal and contextual relationships between the elements of a sequence. The proposed mechanism was evaluated in four standard collections for the abusive language identification task achieving encouraging results. It outperformed the current attention mechanisms and showed a competitive performance with respect to state-of-the-art approaches.
Current study entitled: domestic violence and its relationship to self-esteem
among students in higher education, University of Khartoum. As noted researcher through social work as a guide for this category, estimated by a researcher greater than 14
years that some students do not feel worth themselves or they are hesitant in taking decisions, do not trust in themselves and that they violent social behavior.
Therefore, the problem of the study: Is there a relationship between domestic
violence and self-esteem of the students?
The importance of the study to provide information about the relationship
between domestic violence and self-esteem as it considers new addition some of the
studies, which dealt with the relationship with self-esteem violence chip important
social students and higher education. Then came the objectives of the study to
determine the relationship between domestic violence and self-esteem and to identify individual differences domestic violence according to type. Identify the relationship between domestic violence and level of education of care and economic level and its relationship to the existence of violence and the relationship between the size of the family of the existence of domestic violence.
The study sample consisted of 70 male and female students are reluctant to clinics for guidance, using the questionnaire tool for the collection and analysis of data and access to the most important of which results associated Among the most important results:
1. There is a relationship between domestic violence and self-esteem of students in higher education.
2. There are individual differences of domestic violence depending on the gender.
3. There is a relationship between domestic violence and the level of education of the carer.
4. There is no relationship between the economic level of the family and the existence of
domestic violence.
5. There is no relationship between family size and the presence of domestic violence.
The most important recommendations of the study: Parents should be fully aware of the Bzuthma and appreciation because of its crucial role in the growth of self-concept only with their children and they can work on the development of positive attitudes among their children even be unable to tolerate themselves and trust the Ikdraha and out.
Fine-tuned pre-trained language models (LMs) have achieved enormous success in many natural language processing (NLP) tasks, but they still require excessive labeled data in the fine-tuning stage. We study the problem of fine-tuning pre-trained LMs u
sing only weak supervision, without any labeled data. This problem is challenging because the high capacity of LMs makes them prone to overfitting the noisy labels generated by weak supervision. To address this problem, we develop a contrastive self-training framework, COSINE, to enable fine-tuning LMs with weak supervision. Underpinned by contrastive regularization and confidence-based reweighting, our framework gradually improves model fitting while effectively suppressing error propagation. Experiments on sequence, token, and sentence pair classification tasks show that our model outperforms the strongest baseline by large margins and achieves competitive performance with fully-supervised fine-tuning methods. Our implementation is available on https://github.com/yueyu1030/COSINE.
Providing pretrained language models with simple task descriptions in natural language enables them to solve some tasks in a fully unsupervised fashion. Moreover, when combined with regular learning from examples, this idea yields impressive few-shot
results for a wide range of text classification tasks. It is also a promising direction to improve data efficiency in generative settings, but there are several challenges to using a combination of task descriptions and example-based learning for text generation. In particular, it is crucial to find task descriptions that are easy to understand for the pretrained model and to ensure that it actually makes good use of them; furthermore, effective measures against overfitting have to be implemented. In this paper, we show how these challenges can be tackled: We introduce GenPET, a method for text generation that is based on pattern-exploiting training, a recent approach for combining textual instructions with supervised learning that only works for classification tasks. On several summarization and headline generation datasets, GenPET gives consistent improvements over strong baselines in few-shot settings.
suggested questions
Log in to be able to interact and post comments
comments
Fetching comments
Sign in to be able to follow your search criteria
