大模型轻量化技术张鹏2024.8.24目录01大语言模型轻量化的技术需求02大语言模型轻量化的技术概览03大语言模型轻量化技术的详细讲解04大语言模型轻量化技术的未来展望语言模型背景l语言模型是自然语言处理任务中的核心技术，大语言模型的发展取得突破性进展l自然语言处理是国家重大战略需求国务院新一代人工智能发展规划自然语言处理信息检索自然语言处理技术数字媒宣多模态内容理解自然语言算力资源消耗大可解释性差语言模型的发展历史和关键难题发展阶段关键难题语义计算维数灾难语义概率空间模型设计不可解释联合概率：𝑝(𝑤",𝑤$...𝑤!)应用部署参数量大条件概率：𝑝(𝑤!𝑤"...𝑤!#")总体思路：用轻量化的方式解决大模型实际应用部署过程中遇到的问题大模型参数规模Param:~0.3BParam:~11B73ms/tokenParam:~540B1...