تشخیص سوئیچ کد از طریق ابعاد زبان‌گزین در مدل‌های پایه گفتار
خلاصه هوش مصنوعی
یک روش سبک برای تشخیص مستقیم سوئیچ کد از گفتار بدون نیاز به رونوشت‌های چندزبانه کامل پیشنهاد شده است. با شناسایی ابعاد حالت پنهان زبان‌گزین در انکودرهای گفتار پیش‌آموزش‌دیده مانند Whisper و تجمیع فعال‌سازی‌های سطح فریم آن‌ها، این رویکرد به طور موثری عبارت‌های دارای سوئیچ کد را برای ساخت پیکره‌های آموزشی چندزبانه نمایان‌تر پیدا می‌کند.
نکات کلیدی
- از اطلاعات زبان در سطح فریم در انکودرهای گفتار پیش‌آموزش‌دیده برای تشخیص مستقیم سوئیچ کد از گفتار استفاده می‌کند.
- ابعاد حالت پنهان زبان‌گزین را با استفاده از ضبط‌های تک‌زبانه شناسایی می‌کند.
- انکودر Whisper-small به میانگین F1 برابر با 0.798 در 14 جفت زبان در CS-FLEURS دست می‌یابد.
چرا مهم است
تشخیص خودکار گفتار اغلب به دلیل داده‌های آموزشی محدود با سوئیچ کد دست‌وپنجه نرم می‌کند. این روش تشخیص سبک به مهندسان اجازه می‌دهد تا پیکره‌های چندزبانه را به طور کارآمد از مجموعه‌های گفتاری بزرگ آماده کنند و عملکرد تشخیص گفتار پایین‌دستی را بهبود ببخشند.
گفتگو 0
آغازگر گفتگو باشید.