预训练大模型与医疗：从算法研究到应用闾海荣博士清华大学自动化系20230525@福州，CHIMA2023CHIMA2023CONTENTSCHIMA2023Page21.预训练大模型概述2.理解大模型的内在机理3.赋予模型精准性与可解释性4.医疗领域应用5.清华探索：数基生命TsinghuaConfidentiallvhairong@tsinghua.edu.cn预训练：从大数据到小数据①关于预训练少量特定领域标注数据②剖析大模型（成本高）③精准可解释大数据（低成本无标注）微调小模型（学习特性）④医疗应用⑤数基生命预训练大模型（学习共性）1.模型角度：模型参数不再是随机初始化，而是通过一些任务（如语言模型）进行预训练；2.数据角度：将训练任务拆解成共性学习和特性学习两个步骤。TsinghuaConfidentiallvhairong@tsinghua.edu.cnCHIMA2023Page3以英文电子病历后结构化为示例...