NVIDIA与AI4Bharat发布印度语预训练语料

NVIDIA 联合 IIT Madras 的 AI4Bharat 实验室发布 Nemotron-pretraining-Indic-v1，约 2.8 万亿 token，覆盖印度宪法列出的 22 种语言，并同步开放用于生成该语料的 GPU 加速数据生成流水线。 据 NVIDIA 介绍，该流水线只保留评分达到 100 分中至少 75 分的输出（评分标准，非准确率），且只生成原生文字数据，不做基于反馈的改写。语料即将发布，Hugging Face Datasets 支持流式读取，可在不下载整个语料的情况下查看记录；发布后需固定数据集版本以保证实验可复现。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。