قیما (QIMMA): جدول امتیازات مدل‌های زبانی بزرگ عربی با محوریت کیفیت
خلاصه هوش مصنوعی
قیما (QIMMA) یک پلتفرم ارزیابی متن‌باز برای مدل‌های زبانی بزرگ عربی است که اعتبارسنجی کیفیت نظام‌مند را بر تجمیع ساده بنچمارک‌ها مقدم می‌داند. این پلتفرم با مشکلاتی نظیر آثار ترجمه، خطاهای برچسب‌گذاری و سوگیری فرهنگی مقابله کرده و از یک خط لوله چندمرحله‌ای شامل ارزیابی خودکار توسط Qwen3 و DeepSeek-V3 و بررسی انسانی توسط گویشوران بومی استفاده می‌کند. قیما بیش از ۵۲,۰۰۰ نمونه را در ۱۰۹ زیرمجموعه و ۷ حوزه یکپارچه‌سازی کرده و شامل ارزیابی کدنویسی بومی عربی از طریق بنچمارک‌های تطبیق‌یافته HumanEval+ و MBPP+ است.
نکات کلیدی
- از یک خط لوله اعتبارسنجی کیفیت دو مرحله‌ای (امتیازدهی خودکار LLM و به دنبال آن بررسی انسانی) برای حذف داده‌های معیوب بنچمارک استفاده می‌کند.
- شامل ۹۹ درصد محتوای بومی عربی در ۷ حوزه است و ارزیابی کدنویسی سازگار شده با زبان عربی را یکپارچه می‌کند.
- نشان می‌دهد که تنظیم دستورالعمل و آموزش تخصصی منطقه‌ای می‌تواند به مدل‌های کوچک‌تر اجازه دهد تا از مدل‌های چندزبانه عمومی بسیار بزرگ‌تر عملکرد بهتری داشته باشند.
چرا مهم است
ارزیابی مدل‌های زبانی در حوزه‌های زبانی تکه‌تکه مانند زبان عربی اغلب به دلیل داده‌های معیوب بنچمارک نتایج گمراه کننده‌ای به همراه دارد. قیما چارچوبی قابل اعتماد، قابل بازتولید و با کیفیت سنجیده شده را برای مهندسان و پژوهشگران فراهم می‌کند تا توانایی‌های مدل را در زمینه‌های ظرافت‌های زبانی بومی، منطق تخصصی و وظایف کدنویسی به دقت ارزیابی کنند.
گفتگو 0
آغازگر گفتگو باشید.