مخزن گیت‌هاب LLMs From Scratch به ۱۰۰ هزار ستاره رسید
خلاصه هوش مصنوعی
مخزن متن‌باز «LLMs-from-scratch» نوشته سبباستین راشکا از مرز ۱۰۰ هزار ستاره در گیت‌هاب عبور کرد. این مخزن مسیرهای کدنویسی کامل برای ساخت مدل‌های زبانی از پایه، از جمله توکنایزر، مکانیزم‌های توجه، پیش‌آموزش و تنظیم دقیق دستورالعمل را ارائه می‌دهد. این پروژه شامل پیاده‌سازی مدل‌هایی مانند Llama، Qwen، Gemma و Olmo به همراه تغییرات معماری مانند GQA، MLA و ترکیب متخصصان است.
نکات کلیدی
- این مخزن پیاده‌سازی‌های سرتاسری از توکنایزاسیون تا تنظیم دقیق دستورالعمل را پوشش می‌دهد.
- شامل پیاده‌سازی‌های محلی از معماری‌های مدرن مانند Llama، Qwen، Gemma و Olmo است.
- مکانیزم‌های پیشرفته توجه و تکنیک‌های بهینه‌سازی مانند کش KV و LoRA را پوشش می‌دهد.
چرا مهم است
این نقطه عطف نشان‌دهنده محبوبیت و کاربرد زیاد کدهای متن‌باز آموزشی و شفاف برای تسلط بر مفاهیم پایه‌ای مهندسی هوش مصنوعی بدون اتکا به ای‌پی‌آی‌های جعبه‌سیاه است.
گفتگو 0
آغازگر گفتگو باشید.