百度智能云+大模型分布式训练性能优化与实践(1)

阅读 209 格式 pdf 大小 4.33 MB 共24页2023-10-24 21:37:45发布于上海市

立即下载加入VIP

海报

/24

立即下载加入VIP

文本预览下载提示常见问题

大模型分布式训练基础原理百度智能云资深研发工程师/张恒华演讲提纲01百度百舸AIAK加速套件02AIAK基础产品特性03易用的产品使用方式模型演进对AI基础设施提出更高的需求模型演进：参数量越来越大挑战：机器规模大、训练周期长、资源成本高昂ScalingLaw：大模型训练需要足够的数据和算模型Tokens训练卡数训练时长力LLaMA-65B1.4万亿2048卡（A100-80G）21天GLM-130B4000亿768卡（A100-40G）60天BLOOM-176B3660亿384卡（A100-80G）105天稳定高效敏捷模型能力与数据、参数、算力等正相关百度百舸·AI异构计算平台百舸控制面控制台OpenAPISDK命令行工具配套服务Prometheus监控镜像服务日志服务账号&安全云原生AIAI基础组件AI编排调度稳定性&容错训练&推理加速（AIAK）套件高性能网络插件深度学习框架健康检测模型训练加...

1、当您付费下载文档后，您只拥有了使用权限，并不意味着购买了版权，文档只能用于自身使用，不得用于其他商业用途（如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利）。
2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。
3、如文档内容存在违规，或者侵犯商业秘密、侵犯著作权等，请点击“违规举报”。

碎片内容

港仔研报的最新文档