بانک مرچنتس چین برنده مسابقه مطالعه موردی کاربر نهایی CNCF برای یکپارچه‌سازی آموزش و استنتاج هوش مصنوعی روی کوبرنتیز شد
خلاصه هوش مصنوعی
بانک مرچنتس چین با ساخت یک کنترل‌پین یکپارچه کوبرنتیز با استفاده از Kueue، KEDA، Prometheus، HAMi و Fluid برنده مسابقه مطالعه موردی کاربر نهایی CNCF شد. این پلتفرم نزدیک به ۱۰,۰۰۰ کارت شتاب‌دهنده ناهمگن را بین آموزش هوش مصنوعی، تنظیم دقیق و استنتاج آنلاین به اشتراک می‌گذارد. با قرار دادن ۹۹ درصد از منابع محاسباتی شتاب‌دهنده تحت این چارچوب، میانگین بهره‌وری از ۳۵٪ به بیش از ۶۰٪ افزایش یافت و هزینه استنتاج برای هر ۱ میلیون توکن بیش از ۶۰٪ کاهش پیدا کرد.
نکات کلیدی
- کنترل‌پین یکپارچه از ابزارهای Kueue، KEDA، Prometheus، HAMi و Fluid بهره می‌برد.
- میانگین بهره‌وری محاسباتی شتاب‌دهنده از ۳۵ درصد به بیش از ۶۰ درصد بهبود یافت.
- چارچوب داخلی Twinkle به پنج تننت LoRA اجازه می‌دهد یک نمونه مدل پایه را به اشتراک بگذارند که تراکم آموزش را پنج برابر می‌کند.
چرا مهم است
این مطالعه موردی نشان می‌دهد که چگونه شرکت‌های مقیاس بزرگ می‌توانند با ترکیب ابزارهای ابری، منابع سخت‌افزاری ناهمگن گران‌قیمت را به طور موثر بهینه‌سازی کنند. تیم‌های مهندسی با جداسازی زمان‌های اجرا و به اشتراک‌گذاری زیرساخت بین آموزش و استنتاج هوش مصنوعی، می‌توانند هزینه‌های عملیاتی را به شدت کاهش دهند.
گفتگو 0
آغازگر گفتگو باشید.