توکنیزاسیون در Transformers v5: ساده‌تر، روشن‌تر و ماژولارتر
خلاصه هوش مصنوعی
نسخه ۵ ترنسفورمرز با جداسازی معماری توکنیزاور از واژگان آموزش‌دیده، نحوه کارکرد توکنیزاورها را بازطراحی می‌کند؛ مشابه کاری که پای‌تورچ در جداسازی معماری شبکه عصبی از وزن‌های یادگرفته‌شده انجام می‌دهد. این بروزرسانی پیاده‌سازی‌های موازی کند و سریع را حذف کرده، منطق را در یک فایل واحد ادغام می‌کند، موتور پیش‌فرض مبتنی بر Rust را به کار می‌گیرد و به توسعه‌دهندگان اجازه می‌دهد توکنیزاورهای سفارشی را از ابتدا آموزش دهند.
نکات کلیدی
- نسخه ۵ ترنسفورمرز نرمال‌سازها، پیش‌توکنیزاورها و رمزگشاها را به عنوان معماری‌های مجزا از واژگان و ادغام‌ها در نظر می‌گیرد.
- پیاده‌سازی دوگانه کند و سریع به ازای هر مدل در یک فایل واحد با موتور پیش‌فرض مبتنی بر Rust یکپارچه شده است.
- کلاس AutoTokenizer بارگذاری را با نگاشت پویای تنظیمات مدل به کلاس توکنیزاور صحیح ساده می‌کند.
چرا مهم است
جداسازی معماری از پارامترها به مهندسان امکان می‌دهد قالب‌های توکنیزاور خالی مخصوص مدل‌ها (مانند LLaMA) را ایجاد کرده و آن‌ها را روی پیکره‌های دادهٔ خاص دامنه از ابتدا آموزش دهند که این امر اصطکاک و تکثیر کد در نسخه‌های قبلی را برطرف می‌کند.
گفتگو 0
آغازگر گفتگو باشید.