NVIDIA وAI4Bharat تطرحان 2.8 تريليون رمز لتدريب لغات الهند

أعلنت NVIDIA بالتعاون مع مختبر AI4Bharat في IIT Madras عن Nemotron-pretraining-Indic-v1، وهي مجموعة تدريبية جديدة تضم نحو 2.8 تريليون رمز عبر 22 لغة هندية، على أن تُطرح قريبًا مع خط إنتاج مفتوح ومسرّع على وحدات GPU لتوليد البيانات نفسها.

تقول الجهتان إن المجموعة تغطي اللغات الـ22 الواردة في دستور الهند، وتشمل نصوصًا مكتوبة بالخط الأصلي لكل اللغات، إضافة إلى نصوص لاتينية لاثنتي عشرة لغة. كما تربط كل سجل بمستند مصدر محدد، وتفحص المخرجات مقابل مدخلاتها للحفاظ على ارتباطها بالمعلومات الأصلية.

ويعتمد العمل على NeMo Data Designer لترجمة المستندات الإنجليزية إلى بيانات تدريبية هندية، مع خطوات لتقييم الجودة وإصلاح المخرجات الأضعف والتحقق من الحفاظ على المعادلات والجداول والشفرة. وتشمل المواد مصادر من مجالات مثل الرياضيات، والبرمجة، والأسئلة والأجوبة، بما يفيد الفرق التي تبني نماذج لغوية قادرة على شرح المفاهيم التقنية وحل المسائل.

وتقول NVIDIA إن النموذج Nemotron 3.5 Super VL استفاد لاحقًا من 10 مليارات رمز إضافية من هذا الكوربوس ومن نصوص هندية طبيعية، مع تحسن في خمسة مقاييس هندية للمعرفة والاستدلال. عمليًا، يقدّم هذا الإصدار للباحثين والمطورين موردًا أكبر لتدريب نماذج هندية، إلى جانب وصفة مفتوحة يمكن تكييفها مع مصادرهم الخاصة.