فضای طراحی مدل‌های نفوذ ماسک‌شده سه‌وجهی
خلاصه هوش مصنوعی
پژوهشگران اپل اولین مدل‌های نفوذ ماسک‌شده (MDM) سه‌وجهی را معرفی می‌کنند که از صفر روی داده‌های متن، تصویر-متن و صوت-متن پیش‌آموزش دیده‌اند. این پژوهش قوانین مقیاس‌پذیری چندوجهی، نسبت‌های ترکیب وجه‌ها، زمان‌بندی‌های نویز و اثرات اندازه دسته را به طور سیستماتیک تحلیل می‌کند و یک بازپارامترسازی جدید مبتنی بر معادله دیفرانسیل تصادفی (SDE) برای جداسازی اندازه‌های دسته فیزیکی و منطقی ارائه می‌دهد. یک مدل مقدماتی ۳ میلیارد پارامتری آموزش‌دیده روی ۶.۴ تریلیون توکن، قابلیت‌های قدرتمندی را در تولید متن، تبدیل متن به تصویر و تبدیل متن به صوت به نمایش می‌گذارد.
نکات کلیدی
- اولین مدل‌های نفوذ ماسک‌شده سه‌وجهی پیش‌آموزش‌دیده از صفر روی متن، تصویر-متن و صوت-متن.
- ارائه یک بازپارامترسازی مبتنی بر SDE که نیاز به تنظیم اندازه دسته بهینه را از طریق جداسازی اندازه‌های دسته فیزیکی و منطقی حذف می‌کند.
- ارائه نتایج یک مدل ۳ میلیارد پارامتری آموزش‌دیده روی ۶.۴ تریلیون توکن در تسک‌های متن، تبدیل متن به تصویر و تبدیل متن به صوت.
چرا مهم است
این پژوهش مدل‌های نفوذ گسسته را به عنوان جایگزین‌های قدرتمندی برای مدل‌های زبانی خودرگرسیون جهت تولید چندوجهی یکپارچه پیش می‌برد و بینش‌های عملی درباره رفتار مقیاس‌پذیری، جداسازی اندازه دسته و بهینه‌سازی‌های استنتاج ارائه می‌دهد.
گفتگو 0
آغازگر گفتگو باشید.