计算机行业研究:ChatGPT训练及多场景推理成本测算

阅读 207 下载 15 格式 pdf 大小 1.17 MB 共8页2023-07-29 14:09:41发布于上海市
敬请参阅最后一页特别声明1行业观点2023年3月1日,OpenAI宣布开发者可通过API将ChatGPT和Wisper模型集成到他们的应用程序和产品中。本次ChatGPTAPI接入的模型名为GPT-3.5-turbo,只需0.2美分/千Tokens。本文尝试测算训练和不同推理场景之下的实际成本;未来随着模型压缩的持续发展,推理成本可能进一步降低,也有望大幅推动生成式模型在各个场景的大规模商用。我们的成本估算思路是:计算AI模型在进行训练与推理时所需的浮点运算次数,与AI算力集群的平均算力(以每秒浮点运算次数计)做比,以此估算AI模型的训练成本与推理成本。在通用大模型训练方面,经测算,使用云计算时ChatGPT的训练成本约为170万美元,若自建AI算力中心进行模型训练,训练成本有望降至约51万美元;在大模型推理方面,使用云计算时的ChatG...

1、当您付费下载文档后,您只拥有了使用权限,并不意味着购买了版权,文档只能用于自身使用,不得用于其他商业用途(如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利)。
2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。
3、如文档内容存在违规,或者侵犯商业秘密、侵犯著作权等,请点击“违规举报”。

碎片内容

发表评论取消回复

参与评论可获取积分奖励  
嘿牛投研
结合工作实务分享各行业优质研报,一起洞见研报里的趋势、机会和热点。

文档

63057

收藏

10

店铺

企业店铺
广告位不存在!
确认删除?
VIP会员服务
限时9折优惠