2024年11月29日第33期总第873期人工智能语料库发展趋势和建议人工智能（AI）语料库是汇集大量来自书籍、学术文章、社交媒体等渠道的文本、图片、音频、视频数据集合，是人工智能领域研究和应用的基础数据。目前，国际主流大模型训练语料库以英文语料为主，中文语料占比不超过5%。中文人工智能语料库匮乏制约了我国大模型性能飞跃和技术创新。赛迪研究院建议加快专业语料库建设，提升语料数据质量；优化基础设施建设，维护语料数据安全；完善语料生态环境，构建评估作价体系。-1-一、语料库是AI模型开发的基石，国内外AI语料库在数据规模、语料质量和开源共享方面存在差距大规模、高质量的语料数据是训练和评估模型的基础。一是从海量语料数据中提取语法结构、语义特征能够提升模型泛化性和准确性。OpenAI基于3000...