تحولات جدید در ارزیابی کیفیت ترجمه با مدل‌های System 1

تحلیل کیفیت ترجمه (QE) به عنوان یک حوزه‌ی تحقیقاتی در صنعت ترجمه، در سال‌های اخیر تحولات قابل توجهی را تجربه کرده است. نتایج اخیر در مسابقه‌ی WMT25 نشان می‌دهد که مدل‌های System 1، که به دلیل عدم استفاده از استدلال، به سرعت و کارایی بالایی دست یافته‌اند، بالاترین همبستگی را با قضاوت‌های انسانی در مقایسه با سایر سیستم‌ها داشته‌اند. این موضوع به چالش‌های موجود در ارزیابی کیفیت ترجمه و انتظارات از مدل‌های زبانی بزرگ (LLMs) اشاره دارد.

مدل‌های LLM به ویژه در ارزیابی کیفیت ترجمه، به عنوان معیاری برای پیشرفت در نظر گرفته می‌شوند. با این حال، نتایج نشان می‌دهد که مدل‌های System 1، مانند مدل Jev از TypeSafeAI، بدون نیاز به استدلال، توانسته‌اند نتایج بهتری را ارائه دهند. این مدل‌ها به دلیل سرعت بالای خود، به طور مستقیم از وضعیت عددی داخلی مدل برای تولید امتیاز استفاده می‌کنند. در واقع، این رویکرد می‌تواند به کاهش هزینه‌ها و زمان پردازش کمک کند.

در مسابقه‌ی WMT25، مدل AIQE نسل جدید Opal با کسب امتیاز ۶۰.۴% بالاترین همبستگی را با قضاوت‌های انسانی به دست آورد. این در حالی است که سیستم LLM-as-a-judge با امتیاز ۵۹.۳% در مقام دوم قرار گرفت. این نتایج نشان‌دهنده‌ی این است که مدل‌های System 1 می‌توانند در ارزیابی کیفیت ترجمه بدون نیاز به ارجاع به ترجمه‌های مرجع، عملکرد بهتری داشته باشند.

با توجه به این تحولات، آینده‌ی سیستم‌های QE ممکن است به سمت مدل‌های System 1 پیش برود که بدون استدلال عمل می‌کنند. این تغییر می‌تواند به بهبود کارایی و کاهش زمان پردازش کمک کند و در عین حال کیفیت ترجمه را حفظ نماید.

این برای مخاطبِ حرفه‌ای یعنی چه؟ مخاطبان حرفه‌ای در صنعت ترجمه باید به این نکته توجه داشته باشند که استفاده از مدل‌های System 1 می‌تواند به بهبود فرآیندهای ارزیابی کیفیت ترجمه کمک کند. این مدل‌ها نه تنها سرعت و کارایی را افزایش می‌دهند، بلکه می‌توانند به کاهش هزینه‌ها و زمان مورد نیاز برای ارزیابی ترجمه‌ها منجر شوند. آگاهی از این تحولات می‌تواند به تصمیم‌گیری‌های بهتری در انتخاب ابزارهای ارزیابی کیفیت ترجمه منجر شود.