RankNAS: Efficient Neural Architecture Search by Pairwise Ranking

تتناول هذه الورقة تحدي الكفاءة في بحث العمارة العصبية (NAS) من خلال صياغة المهمة كملمة في التصنيف.تتطلب الطرق السابقة العديد من أمثلة تدريبية لتقدير الأداء الدقيق للبايكيين، على الرغم من أن الهدف الفعلي هو العثور على التمييز بين المرشحين "والسيئين".نحن هنا لا نلجأ إلى تنبؤ الأداء.بدلا من ذلك، نقترح طريقة تصنيف الأداء (Ranknas) عبر الترتيب الزوجي.إنه يتيح البحث بالهندسة المعمارية الفعالة باستخدام أمثلة تدريبية أقل بكثير.علاوة على ذلك، نقوم بتطوير طريقة اختيار العمارة لتقليم مساحة البحث والتركيز على المرشحين الأكثر واعدة.تظهر تجارب واسعة على مهام ترجمة الآلات ونمذجة اللغة أن الركوبين الراهن يمكنهم تصميم بهيئات عالية الأداء أثناء كونه أوامر من حجم أسرع من أنظمة NAS-Art-Art.

This paper addresses the efficiency challenge of Neural Architecture Search (NAS) by formulating the task as a ranking problem. Previous methods require numerous training examples to estimate the accurate performance of architectures, although the actual goal is to find the distinction between good'' and bad'' candidates. Here we do not resort to performance predictors. Instead, we propose a performance ranking method (RankNAS) via pairwise ranking. It enables efficient architecture search using much fewer training examples. Moreover, we develop an architecture selection method to prune the search space and concentrate on more promising candidates. Extensive experiments on machine translation and language modeling tasks show that RankNAS can design high-performance architectures while being orders of magnitude faster than state-of-the-art NAS systems.