سوپ‌سازی حالت وزن‌دهی‌شده برای بازیابی کارآمد متون طولانی
خلاصه هوش مصنوعی
مدل‌های فضای حالت (SSMs) از اندازه‌های حالت ثابت برای استنتاج سریع استفاده می‌کنند و سوپ‌سازی حالت امکان کدگذاری مستقل تکه‌ها را برای باز ترکیب کش‌شده فراهم می‌کند. با این حال، سوپ‌سازی حالت استاندارد در متون طولانی و شلوغ با مشکل مواجه می‌شود. این مقاله سوپ‌سازی حالت وزن‌دهی‌شده را معرفی می‌کند که وزن‌های وابسته به پرس‌وجو را برای ترکیب حالت‌های کش‌شده یاد می‌گیرد و عملکرد متون طولانی را در پاسخ به سوالات، جستجوی سوزن در انبار کاه و استفاده از ابزار بهبود می‌بخشد.
نکات کلیدی
- سوپ‌سازی حالت وزن‌دهی‌شده، وزن‌های وابسته به پرس‌وجو را برای ترکیب حالت‌های کش‌شده یاد می‌گیرد.
- قابل انطباق به یک نوع تنک (sparse) با هزینه کدگذاری تقریباً ثابت نسبت به طول متن است.
- در کارگاه PALM در کنفرانس NeurIPS 2026 پذیرفته شده است.
چرا مهم است
این روش رویکردی کارآمد برای مدل‌های زبانی ارائه می‌دهد تا مجموعه‌های بزرگ از متون ساختاریافته مانند اسناد و ابزارها را با ترکیب بازنمایی‌های قابل استفاده مجدد و بازیابی انتخابی مدیریت کنند.
گفتگو 0
آغازگر گفتگو باشید.