مدل‌های امبدینگ چندزبانه Granite Embedding R2: امبدینگ‌های متن‌باز Apache 2.0 با کانتکست ۳۲K
خلاصه هوش مصنوعی
شرکت IBM دو مدل امبدینگ چندزبانه متن‌باز با لایسنس Apache 2.0 بر پایه معماری ModernBERT معرفی کرده است: granite-embedding-311m-multilingual-r2 و granite-embedding-97m-multilingual-r2. این مدل‌ها از بیش از ۲۰۰ زبان، ۵۲ زبان با تنظیم دقیق و ۹ زبان برنامه‌نویسی پشتیبانی کرده و پنجره کانتکست را به ۳۲,۷۶۸ توکن افزایش می‌دهند. مدل کوچک ۹۷ میلیون پارامتری با امتیاز ۶۰.۳ در بازیابی چندزبانه MTEB پیشتاز مدل‌های زیر ۱۰۰M است و مدل ۳۱۱M با امتیاز ۶۵.۲ از کاهش ابعاد Matryoshka پشتیبانی می‌کند.
نکات کلیدی
- مدل ۹۷M در بازیابی چندزبانه MTEB عملکرد بهتری نسبت به سایر مدل‌های متن‌باز زیر ۱۰۰ میلیون پارامتر ارائه می‌دهد.
- هر دو مدل به طور پیش‌فرض از پنجره کانتکست ۳۲K توکنی با استفاده از انکودر ModernBERT و تعبیه‌های موقعیتی چرخشی پشتیبانی می‌کنند.
- یادگیری بازنمایی Matryoshka به مدل ۳۱1M اجازه می‌دهد برای جستجوی سریع‌تر بردارها تا ابعاد ۱۲۸ یا ۲۵۶ کوچک شود بدون اینکه افت دقت محسوسی داشته باشد.
چرا مهم است
این مدل‌ها معضل قدیمی بین اندازه مدل و قابلیت‌های چندزبانه را حل کرده و به توسعه‌دهندگان اجازه می‌دهند امبدینگ‌های آماده سازمانی با پهنای باند بالا را برای جستجوی چندزبانه و سیستم‌های RAG بدون محدودیت‌های تجاری مستقر کنند.
گفتگو 0
آغازگر گفتگو باشید.