ترکیب کنید، نه تنظیم: پیش‌آموزش دوزبانه در شرایط محدودیت داده بر جستجوی ابرپارامتر غلبه می‌کند

خلاصه هوش مصنوعی

این مقاله پیش‌آموزش مدل زبانی را در رژیم‌های محدودیت داده بررسی می‌کند که در آن مدل‌ها باید داده‌های محدود را بارها تکرار کنند. با مقایسه تنظیم ابرپارامتر با ترکیب داده‌های زبان کمکی پرمنبع در چهار مقیاس مدل (از ۱۵۰ میلیون تا ۱.۴۳ میلیارد پارامتر) طی بیش از ۱۰۰۰ اجرا، نویسندگان دریافتند که ترکیب داده‌ها به طور مداوم از تنظیم ابرپارامتر عملکرد بهتری دارد. ترکیب، توزیع آموزش را گسترش داده و سیگنال‌ها را متنوع می‌کند که دستاوردهای عملکردی معادل ۲ تا ۳ برابر داده‌های هدف منحصر به فرد در تلفات اعتبارسنجی و ۲ تا ۱۳ برابر در وظایف پایین‌دستی به همراه دارد.

نکات کلیدی

ترکیب داده‌ها بهبودهای بزرگتری نسبت به تنظیم ابرپارامتر ایجاد می‌کند و شکاف عملکرد با افزایش اندازه مدل رشد می‌کند.
افزایش عملکرد معادل ۲ تا ۳ برابر داده‌های هدف منحصر به فرد در تلفات اعتبارسنجی و ۲ تا ۱۳ برابر در دقت وظایف پایین‌دستی است.
تلفات اعتبارسنجی زبان هدف، ارزش واقعی ترکیب را دست کم می‌گیرد زیرا تنظیم‌گری را ثبت می‌کند اما مشارکت دانش افزوده را از دست می‌دهد.

چرا مهم است

برای مهندسان و محققانی که روی مدل‌های زبانی کم‌منبع کار می‌کنند، ترکیب داده‌ها راهکار مؤثرتر و مقیاس‌پذیرتری نسبت به جستجوهای پرهزینه ابرپارامتر برای مقابله با محدودیت‌های داده ارائه می‌دهد.

# language models# pre training# hyperparameter tuning# data constrained

مطالعه مقاله کامل درApple Machine Learning Research

گفتگو 0

آغازگر گفتگو باشید.