مجموعه معیار FACTS: ارزیابی سیستماتیک صحت اطلاعات مدل‌های زبانی بزرگ
خلاصه هوش مصنوعی
گوگل با همکاری کاگل (Kaggle) مجموعه معیار FACTS را برای ارزیابی سیستماتیک صحت اطلاعات مدل‌های زبانی بزرگ معرفی کرده است. این مجموعه شامل ۳۵۱۳ نمونه است که به صورت مجموعه‌های عمومی و خصوصی در چهار بخش معیار پارامتری، جستجو، چندوجهی و استناد (Grounding v2) تقسیم شده‌اند. کاگل مدیریت این مجموعه، نگهداری بخش‌های خصوصی و میزبانی جدول امتیازات عمومی را بر عهده خواهد داشت. ارزیابی ۱۵ مدل پیشرو نشان می‌دهد که Gemini 3 Pro با امتیاز کلی ۶۸.۸ درصد در صدر قرار دارد و کاهش خطای چشمگیری را در وظایف جستجو و پارامتری نشان می‌دهد.
نکات کلیدی
- مجموعه معیار FACTS شامل بخش‌های پارامتری، جستجو، چندوجهی و استناد نسخه ۲ است.
- کاگل مدیریت مجموعه‌های خصوصی و جدول امتیازات عمومی را بر عهده دارد.
- مدل Gemini 3 Pro بالاترین امتیاز کلی ۶۸.۸ درصد را در میان ۱۵ مدل ارزیابی شده کسب کرد.
چرا مهم است
ارزیابی و بهبود صحت اطلاعات مدل‌های زبانی بزرگ با تبدیل شدن آن‌ها به منابع اصلی ارائه اطلاعات، امری حیاتی است. معیارهای استاندارد مانند مجموعه FACTS اندازه‌گیری دقیقی را در زمینه دانش داخلی، استفاده از ابزار جستجو و ورودی‌های چندوجهی فراهم می‌کنند.
گفتگو 0
آغازگر گفتگو باشید.