DeepSeek系统软件优化总结翟季冬清华大学计算机系＞1＜DeepSeekV3公开的预训练成本按照H800GPU每小时每卡2美元租赁成本，全部训练成本：5,576,000美元不包括前期探索模型架构、消融实验等开销预训练时间估计：2048张H800计算：~54天10000张H800计算：~11天DeepSeek公开的V3训练成本＞2＜主要模型参数DeepSeekV3模型参数：671B参数（GPT-3：175B、GPT-4：1.76T?）每个token激活37B参数、~5.5%61层Transformer、Hiddendimension：7168FFNàMoE：1共享专家（sharedexpert）+256路由专家（routedexperts）每个token激活8个路由专家＞3＜DeepSeek模型架构DeepSeek架构：MLA(multi-headlatentattention)+MoE(mixtureofexperts)＞4＜DeepSeekMoE架构DeepSeekMoE架构共享专家+路由专家MoE架构＞5＜并行训练框架IB50GB/s并...