预训练大模型与医疗：从算法研究到应用 1. 预训练大模型概述 2. 理解大模型的内在机理 3. 赋予模型精准性与可解释性 4. 医疗领域应用 5. 清华探索：数基生命 CHIMA 20Pag2 Tsinghua Confidential | lvhairong@tsinghua.edu.cn CONTENTS 预训练：从大数据到小数据 ③ 精 准 可 解 释 ④ 医 疗 应 用 参数量 3.4 亿 数据量约 78GB CHIMA 20Pag2 Tsinghua Confidential | lvhairong@tsinghua.edu.cn 2019 年 8 月 清华大学提出知识注入 BERT 模型，后由 Baidu AI 更新迭代 到 3.0 版本 参数量 1.15 亿， 1.25 亿， 100 亿 数据量约 12GB ， 22.9G ， 4TB 2020 edu.cn 清华大学数基生命交叉创新群体 ④ 医 疗 应 用 ⑤ 数 基 生 命 ① 关 于 预 训 练 群体顾问 戴琼海 中国工程院院士 李衍达 中国科学院院士 董家鸿 中国工程院院士 Wing H. Wong 美国科学院院士 ② 剖 析 大 模 型 群体骨干 ③ 精 准 可 解 释 张静 群体带头人 张学工 生物信息与机器学习专家 清华大学自动化系教授

项浙江省“尖兵”计划项目 68 项浙江省卫健委项目 4 项浙江省科学技术进步奖三等奖 浙大二院开展全面深入合作 浙江省中医院战略合作 复旦大学附属中山医院医疗技术协作中心 复旦大学附属眼耳鼻喉科医院协作医院 清华大学医院管理研究院实践基地 浙江大学湖州研究院数字健康研究中心 国家级住院医师规范化培训基地 国家级全科医师规范化培训基地 国家药物临床试验基地 国家级胸痛中心 国家级高级卒中中心 国家级房颤中心

[2] 吴玉韶, 党俊武. 老龄蓝皮书 ：中国老龄产业发展报告[M]. 北京: 社会科学文献出版社, 2014. [3] 裘加林, 田华, 郑杰, 等. 智慧医疗[M]. 2 版. 北京: 清华大学 出版社, 2015. [4] 国务院关于印发新一代人工智能发展规划的通知[EB/ OL]. http://www.gov.cn/zhengce/content/2017-07/20/con-

因此，通过认识智慧健康医疗的本质，理解智慧健康医疗的核心理念， 从而以正确的策略和方式推动发展智慧健康医疗，对我国智慧健康 医疗体系的建设尤为重要。关于智慧健康医疗的定义如图 1-1 所示。 在智慧健康医疗发展的关键节点，清华大学智慧医疗研究院承 接了中国工程院 2020“健康中国”智慧医疗生态体系发展的重大战 略研究项目，中国工程院和中国科学院跨越 7 个学部的 26 位院士通 力合作，共同研拟了智慧健康医疗的准确定义及深刻内涵，提出了