معرفی خانواده رنکر‌های Ettin
خلاصه هوش مصنوعی
شش مدل رنکر جدید CrossEncoder از Sentence Transformers معرفی شده‌اند که بر روی انکودرهای Ettin ModernBERT ساخته شده و از طریق تقطیر با استفاده از امتیازات mixedbread-ai/mxbai-rerank-large-v2 آموزش دیده‌اند. رنکرها جفت‌های پرسش و سند را به صورت مشترک انکود می‌کنند تا امتیاز ربط دقیق‌تری نسبت به مدل‌های امبدینگ مستقل ارائه دهند. با بهره‌گیری از طراحی ماژولار ترنسفورمر که از لغو پدینگ دنباله و Flash Attention 2 پشتیبانی می‌کند، این مدل‌ها سرعت و بهره‌وری قابل توجهی نسبت به معماری‌های سنتی ارائه می‌دهند.
نکات کلیدی
- ساخته شده بر روی انکودرهای Ettin ModernBERT دانشگاه جانز هاپکینز با پشتیبانی از حداکثر ۸۱۹۲ توکن.
- مدل ۱۷ میلیون پارامتری به سرعت ۷۵۱۷ جفت در ثانیه روی پردازنده گرافیکی NVIDIA H100 دست می‌یابد.
- از طراحی ماژولار ترنسفورمر برای حذف پدینگ ورودی‌ها استفاده می‌کند تا سربار محاسباتی در حین اجرای Flash Attention 2 کاهش یابد.
چرا مهم است
برای مهندسانی که سیستم‌های جستجو و تولید افزوده با بازیابی (RAG) را توسعه می‌دهند، این مدل‌ها جایگزینی مستقیم فراهم می‌کنند که هم تاخیر و هم دقت را بهبود می‌بخشد. نسخه ۱۷ میلیون پارامتری عملکرد بهتری نسبت به مدل‌های قدیمی‌تر MiniLM دارد و در عین حال بسیار سریع‌تر اجرا می‌شود، همچنین پشتیبانی از طول متن بلند (تا ۸ هزار توکن) اسناد طولانی را به طور موثر مدیریت می‌کند.
گفتگو 0
آغازگر گفتگو باشید.