باز کردن قفل ناهمگامی در دسته‌بندی پیوسته
خلاصه هوش مصنوعی
این مقاله بررسی می‌کند که چگونه جداسازی بارهای کاری CPU و GPU در دسته‌بندی پیوسته برای استنتاج مدل‌های زبانی بزرگ (LLM)، زمان‌های انتظار را از بین برده و عملکرد را به‌طور چشمگیری بهبود می‌دهد. به‌طور پیش‌فرض، دسته‌بندی پیوسته همگام است و باعث می‌شود CPU و GPU منتظر یکدیگر بمانند که نزدیک به ۲۴ درصد از کل زمان اجرا را هدر می‌دهد. با بهره‌گیری از استریم‌های CUDA، انتقال حافظه غیرمسدودکننده و رویدادهای همگام‌سازی صریح، مهندسان می‌توانند آماده‌سازی دسته N+1 را روی CPU همزمان با محاسبات دسته N روی GPU انجام دهند. این رویکرد ناهمگام، صف کار GPU را اشغال کرده و زمان فعال بودن آن را از ۷۶ درصد به ۹۹.۴ درصد افزایش می‌دهد و بدون نیاز به تغییرات در کرنل یا مدل، سرعت کلی را ۲۲ درصد بهبود می‌بخشد.
نکات کلیدی
- دسته‌بندی پیوسته همگام باعث می‌شود CPU و GPU به نوبت کار کنند که منجر به هدر رفتن نزدیک به ۲۴ درصد از کل زمان اجرا می‌شود.
- استریم‌های CUDA و انتقالات حافظه غیرمسدودکننده به آماده‌سازی دسته توسط CPU و اجرای همزمان روی GPU اجازه می‌دهند.
- مدیریت دقیق بافر دوگانه و گراف‌های CUDA از شرایط مسابقه جلوگیری کرده و بهره‌وری بالای GPU را حفظ می‌کند.
چرا مهم است
سخت‌افزارهای استنتاج مانند H200 گران‌قیمت هستند و بهینه‌سازی بهره‌وری مستقیماً هزینه‌های عملیاتی را در استقرارهای در مقیاس بزرگ کاهش می‌دهد. با رفع گلوگاه‌های همگام‌سازی بین CPU و GPU، تیم‌های مهندسی می‌توانند به بالاترین سطح توان عملیاتی برای کارهای تولید متن با زمینه طولانی دست یابند.
گفتگو 0
آغازگر گفتگو باشید.