پلتفرم Open TTS Leaderboard برای ارزیابی مدل‌های متن به گفتار

پیشرفت‌های اخیر در حوزه‌ی مدل‌های متن به گفتار (TTS) به‌ویژه در زمینه‌ی متن‌خوانی چندزبانه و کلاونینگ صدا، نیاز به ارزیابی‌های استاندارد و مقایسه‌ای را بیش از پیش نمایان کرده است. در این راستا، «Open TTS Leaderboard» به‌عنوان یک پلتفرم جدید معرفی شده که به ارزیابی مدل‌های متن به گفتار با استفاده از معیارهای عینی می‌پردازد. این پلتفرم به‌ویژه بر روی مدل‌های متن به گفتار متن‌باز و چندزبانه تمرکز دارد و به کاربران این امکان را می‌دهد تا به مقایسه و رأی‌گیری درباره‌ی خروجی‌های TTS بپردازند.

ارزیابی چندزبانه و کلاونینگ صدا مدل‌های موجود در این پلتفرم بر اساس نرخ خطای کلمات (WER) و نرخ خطای کاراکتر (CER) رتبه‌بندی می‌شوند. این ارزیابی‌ها به‌ویژه در زبان‌های انگلیسی، چینی، ژاپنی و کره‌ای انجام می‌گیرد. با توجه به اینکه عملکرد یک مدل در زبان انگلیسی ممکن است به سایر زبان‌ها تعمیم‌پذیر نباشد، قابلیت ارزیابی چندزبانه به این پلتفرم افزوده شده است. همچنین، امکان مقایسه‌ی مدل‌هایی که از کلاونینگ صدا پشتیبانی می‌کنند، فراهم شده است.

مقایسه و رأی‌گیری بر روی خروجی‌های TTS در بخش «Listen»، کاربران می‌توانند خروجی‌های تولیدشده توسط مدل‌های مختلف را مقایسه کنند و مدل مورد نظر خود را انتخاب کنند. این ویژگی به‌ویژه برای ارزیابی کیفیت صدا و طبیعی بودن خروجی‌ها اهمیت دارد. با جمع‌آوری رأی‌ها از جامعه‌ی کاربران، امکان بهبود ارزیابی‌ها و شفافیت بیشتر در نتایج فراهم می‌شود.

عملکرد استریمینگ بخش «Streaming» به مقایسه‌ی قابلیت‌های استریمینگ مدل‌ها می‌پردازد. در این بخش، زمان لازم برای دریافت اولین بخش صوتی (TTFA) مورد ارزیابی قرار می‌گیرد. این معیار برای کاربردهای تعاملی مانند دستیارهای صوتی اهمیت ویژه‌ای دارد و به کاربران این امکان را می‌دهد که زمان انتظار برای دریافت خروجی صوتی را به حداقل برسانند.

این برای مخاطبِ حرفه‌ای یعنی چه؟ پلتفرم Open TTS Leaderboard به‌عنوان یک ابزار مفید برای محققان و توسعه‌دهندگان در حوزه‌ی TTS، به ارزیابی و مقایسه‌ی مدل‌ها کمک می‌کند. با استفاده از معیارهای عینی و قابلیت‌های مقایسه‌ای، کاربران می‌توانند تصمیمات بهتری در انتخاب مدل‌های مناسب برای پروژه‌های خود اتخاذ کنند. این امر به‌ویژه در شرایطی که مدل‌های متن به گفتار به‌سرعت در حال توسعه هستند، از اهمیت بالایی برخوردار است.