مدل‌های زبانی بزرگ برای ارزیابی کیفیت ترجمه ماشینی: هم انسان‌ها و هم مدل‌ها با چالش مواجه هستند

خلاصه هوش مصنوعی

این مقاله عملکرد مدل‌های زبانی بزرگ (LLM) را در مقایسه با ارزیابان انسانی برای طرح‌های ارزیابی کیفیت ترجمه ماشینی مانند معیارهای کیفیت چندبعدی (MQM) و حاشیه‌نویسی بازه خطا (ESA) بررسی می‌کند. با استفاده از یک مجموعه آزمایشی طولانی‌مدت شامل ۷۰ جفت زبان و داده‌های WMT، این مطالعه توافق امتیاز و بازه خطا را در دامنه‌های مختلف بررسی می‌کند. نتایج نشان می‌دهد که اگرچه توافق LLM با انسان‌ها در برخی وظایف از توافق انسان با انسان فراتر می‌رود، اما هر دو در بیشتر تنظیمات غیرقابل اعتماد باقی می‌مانند. انسان‌ها با MQM ریزدانه و زبان‌های کم‌منبع دست و پنجه نرم می‌کنند، در حالی که LLMها با خطاهای جزئی، گویش‌های اشتباه زبان و حاشیه‌نویسی بازه خطا مشکل دارند که نشان‌دهنده نیاز به خطوط لوله همکاری انسان و LLM است.

نکات کلیدی

ارزیابی مدل‌های زبانی بزرگ بر روی معیارهای کیفیت چندبعدی (MQM) و حاشیه‌نویسی بازه خطا (ESA).
آزمایش‌ها شامل ۷۰ جفت زبان، مجموعه‌های آزمایشی با زمینه طولانی و داده‌های WMT23/WMT25 هستند.
نشان می‌دهد که هم انسان‌ها و هم LLMها با چالش‌های مجزایی روبرو هستند که به سمت حاشیه‌نویسی مشارکتی انسان و LLM اشاره دارد.

چرا مهم است

ارزیابی دقیق ترجمه ماشینی برای استقرار سیستم‌های هوش مصنوعی چندزبانه قابل اعتماد بسیار حیاتی است. درک محدودیت‌های هم مدل‌های زبانی بزرگ و هم حاشیه‌نویسان انسانی به مهندسان کمک می‌کند تا خطوط لوله حاشیه‌نویسی مشارکتی بهتر و چارچوب‌های تضمین کیفیت را طراحی کنند.

# Machine Translation# Large Language Models# Quality Annotation# MQM

مطالعه مقاله کامل درApple Machine Learning Research

گفتگو 0

آغازگر گفتگو باشید.