فارسی در فضای دیجیتال: کمبود داده، فرصت مدل‌های زبانی

با وجود ده‌ها میلیون گویشور، فارسی در رده‌بندی کیفیت مدل‌های زبانی بزرگ پایین‌تر از جایگاه واقعی خود می‌نشیند. علت اصلی کمبود داده‌ی عمومیِ باکیفیت است: بخش بزرگی از متن فارسی وب پشت دیوارهای پیام‌رسان‌ها و شبکه‌های اجتماعی است، پیکره‌های آکادمیک قدیمی‌اند، و استانداردسازی نگارش (نیم‌فاصله، اعداد، رسم‌الخط) ناقص مانده است.

مشکل فنی نیست، مشکل سیاست داده است

زبان‌هایی که در دهه‌ی گذشته جهش کیفیت داشتند — مانند کره‌ای و ترکی — هم‌زمان از سرمایه‌گذاری دولتی و صنعتی در پیکره‌سازی و استانداردسازی بهره‌مند شدند. برای فارسی، پیش‌نیاز کار فنی، کار سیاستی است: آزادسازی داده‌های عمومی، بودجه‌ی پیکره‌ای دانشگاهی، و زیرساخت رسم‌الخط استاندارد در نرم‌افزارها.

این یک مسئله‌ی صرفاً آکادمیک هم نیست: کیفیت ترجمه‌ی ماشینی، دسترسی نابینایان به محتوا، جست‌وجوی حقوقی و آموزش آنلاین همه به همین زیرساخت وابسته‌اند. واج‌آرا وضعیت پیکره‌های فارسی را در قالب گزارش دوره‌ای رصد خواهد کرد.