نسخه دوم CWE-bench: پوشش، کیفیت و شفافیت بیشتر
خلاصه هوش مصنوعی
شرکت Collinear AI نسخه دوم بنچمارک CWE-bench را منتشر کرده است که شامل ۱۰۰ تسک عمومی برای ارزیابی مدل‌های پیشرفته هوش مصنوعی در زمینه یافتن و رفع آسیب‌پذیری‌های امنیتی در مخازن متن‌باز است. این بنچمارک ۹۱ نوع ضعف مختلف را پوشش می‌دهد و از امتیازدهی برنامه‌نویسی‌شده و قابل تکرار از طریق محیط‌های داکرشده Harbor استفاده می‌کند. نتایج نشان می‌دهد که مدل‌های برتر مانند Gemini 4 Argon و Claude Opus 5.5 به نرخ قبولی حدود ۶۷ تا ۶۸ درصد دست یافته‌اند، در حالی که مدل‌های بهینه‌تری مانند DeepSeek V4.1 Flash گزینه‌های مقرون‌به‌صرفه‌تری ارائه می‌دهند.
نکات کلیدی
- شامل ۱۰۰ تسک عمومی که ۹۱ نوع ضعف مختلف (CWE) را پوشش می‌دهند.
- استفاده از محیط‌های داکرشده Harbor برای ارزیابی قطعی و قابل تکرار.
- نتایج در لیدربوردهای هاب هاکینگ فیس برای مدل‌های وزن‌باز و مدل‌های مبتنی بر API ردیابی می‌شوند.
چرا مهم است
ارزیابی امنیتی ایجنت‌های کدنویسی هوش مصنوعی با توجه به ادغام روزافزون آن‌ها در چرخه‌های توسعه نرم‌افزار بسیار حیاتی است. این بنچمارک یک چارچوب دقیق و متن‌باز برای سنجش توانایی مدل‌ها در درک ضعف‌های امنیتی فراهم می‌کند.
گفتگو 0
آغازگر گفتگو باشید.