从DeepSeek看大模型软硬件优化戴国浩上海交通大学副教授无问芯穹联合创始人缘起后训练~8页模型架构~5页系统架构~11页预训练Liu,Aixin,etal."Deepseek-v3technicalreport."arXiv~7页preprintarXiv:2412.19437(2024).GuohaoDai@ShanghaiJiaoTongUniversityPage2评价——DeepSeek论文GuohaoDai@ShanghaiJiaoTongUniversity什么是CUDA？什么是PTX？🤔Page3PTX和CUDA是什么TritonLanguageTritonIRTritonGPUIRLinalgLLVMIRCPUs、加速器SYCLPTXHSAIntelNVIDIAAMDPage4https://developer.download.nvidia.com/compute/cuda/docs/CUDA_Architecture_Overview.pdfGuohaoDai@ShanghaiJiaoTongUniversity优化方向Ø底层优化•算法、模型、硬件确定，优化软件•例子：通信优化、内存优化Ø协同优化•同时优化算法、模型、软件、...