预训练大模型与医疗：从算法研究到应用 1. 预训练大模型概述 2. 理解大模型的内在机理 3. 赋予模型精准性与可解释性 4. 医疗领域应用 5. 清华探索：数基生命 CHIMA 20Pag2 Tsinghua Confidential | lvhairong@tsinghua.edu.cn CONTENTS 预训练：从大数据到小数据 ③ 精 准 可 解 释 ④ 医 疗 应 用 用 ② 剖 析 大 模 型 ① 关 于 预 训 练 预训练大模型 （学习共性） 大数据（低成本无标注） 少量特定领域标注数据 （成本高） 微调小模型 （学习特性） ⑤ 数 基 生 命 1.模型角度：模型参数不再是随机初始化，而是通过一些任务（如语言模型）进行预训练； 2.数据角度：将训练任务拆解成共性学习和特性学习两个步骤。 CHIMA 20Pag2 Tsinghua Confidential  两类典型的大语言模型  BERT ： Bidirectional Encoder Representations from Transformers  双向模型，同时考虑前文和后文  采用掩码语言模型（ masked language model ）和下一句 预测任务 （ next sentence prediction ）进行预训练，使得模型能够学习到上下 文 关系和词汇语义

疾控工作者应该怎么利用 DeepSeek 等 AI 大模型 主要内容 先了解人工智能发展简史和发展方向 再介绍大模型的概念和与人工智能的关系 接着介绍垂域模型与智能体的概念 了解以上概念后开始将交流和畅想疾控与人工智能 + 再接着介绍 DeepSeek 大模型 最后是普通疾控人在工作中的具体使用探索交流 1 . 1 著名的图灵测试 1950 年，“计算机之父”和“人工智能之父”艾伦 断 智能。 2. 技术目标： 1. 为早期人工智能研究提供了明确方向，例如自然语言处理和对话 系统的开发。 2. 启发了后来的聊天机器人 ( 如 ELIZA,ChatGPT) 和语言模型的 发 展。 一、人工智能发展简史了解 CDC 疾控 人 1.2 人工智能的诞生 人工智能的诞生可以追溯到 20 世纪 50 年代。当时，计算机科学刚刚起步，人们开始尝试通过计算机程序来模拟人类的 AlphaGo 击败李世 石 2020 年以后是通用智能探索与生成式 Al 爆发期， 2022 年 ChatGPT 发 布， 生成式 Al 普及化。 2023 年后 GPT-4 、 deepseek 等模型实现高质量 内容生 成。 1.3 人工智能的发展阶段 从 1956 年人工智能元年至今，人工智能的发展历程经历了漫长的岁月，大致可以划分为以下 6 个 阶段 一、人工智能发展简史了解 互联网推动人工智

2023年中国AI医院信息化行业概览： 大模型赋能医院智慧化转型 China AI Hospital Informatisation Industry 中国AI病院情報化産業 报告提供的任何内容（包括但不限于数据、文字、图表、图像等）均系头豹研究院独有的高度机密性 文件（在报告中另行标明出处者除外）。未经头豹研究院事先书面许可，任何人不得以任何方式擅自 复制、再造、传播、出版、引用、改编、汇编 个大健康 生态，最终推动医疗健康服务智慧化，使智慧医疗实现质的飞跃，发展成为未来的医疗健康服务模式。 完整版登录www.leadleo.com 搜索《2023年中国AI医院信息化行业概览： 大模型赋能医院智慧化转型》 www.leadleo.com 400-072-5588 ©2022 LeadLeo Chapter 2 中国AI医院信息化产业链分析 q 产业链图谱 q 上游分析 层和数据层三大核心；下游为医疗卫生机构及患者 中国AI医院信息化产业链分析——产业链图谱 来源：头豹研究院 AI医院信息化产业链图谱 完整版登录www.leadleo.com 搜索《2023年中国AI医院信息化行业概览： 大模型赋能医院智慧化转型》 中国AI医院信息化行业 行业概览 | 2023/08 www.leadleo.com 400-072-5588 10 医院信息化供应商负责的领域主要为应用软件、互联网服务、系统

项目编号： 智慧中医院门诊病历自动生成接入 AI 大 模型 设 计 方 案 目 录 1. 项目背景........................................................................................................................................... 2. AI 大模型概述........................................................................................................................................................................16 2.1 AI 大模型的定义.... ......................................................................................41 4.2.2 AI 模型处理模块...............................................................................................

年 达特茅斯会议 约翰 · 麦卡锡提出人工智 能标志 AI 的诞生 1957 年 罗森布切特发明感知机 Perceptron ，将人工智 能推向第一个高峰 1970 年 计算能力无法支持 大模型数据训练和 复杂任务， AI 进 入第一个低谷 第一次 浪潮 1960s 1980s 2000s 2020s 1982 年 霍普菲尔德神经 网络被提出 1986 年 BP 算法使得大规模神 显著提升，进入感知 智能时代 2016 年 AlphaGo 战胜人类 围棋冠军， AI 关 注 度空前提升 2022 年 OpenAI 发布 GhatGPT ， AI 智力水平 实现飞跃，进入大模型 时代 第二次 浪潮 第三次 浪潮 Sora 发布，大模 型 视频多模态迈进。 的语音模态向图文 DeepSeek 发布 2024 年 2025 年 2025 人工智能算法发展阶段 典 2010-2020 硬件发展，大规模数据，算法突破 推荐系统 人脸识别 算法框架：深度神经网络、卷积神经网络 自动进行特征学习，端对端训练，有监督 在特定场景效果好，但需要根据 不同任务训练不同的模型，泛化 能力差 生成式 AI 2020- 硬件、算法、大数据全面突破 对话机器人 算法框架： Transformer 大规模无 监督预训练 多任务、多模态统一处理 自然语言理解、世界知识记忆、

学数据，结 合自然语言处理、深度学习、图像识别以及大模型等人工 智能（AI）技术，构建新药研发知识图谱，开展复杂蛋白 质结构预测，显著提升药物靶点的识别和筛选效率。 2.智能药物分子设计与优化 面向药物分子设计和先导化合物优化等业务活动，针 对传统基于经验的药物设计模式限制问题，通过运用计算 机模拟、数字孪生以及深度生成模型和强化学习算法等人 工智能（AI）技术，以更高的效率和更低成本获得符合特 真、 分子模拟和成药性理化模型等技术进行高通量虚拟筛选， 加快化合物生物活性和药理作用的评估速度；基于人工智 能（AI）技术挖掘文献、数据库等，提高化合物筛选范围 和效果。 4.动物模型数据挖掘与虚拟动物实验 面向动物实验研究、药物测试等业务活动，针对动物 替代需求高、与人体结果一致性有偏差等问题，运用数据 挖掘、模拟技术，建立动物造模计算机仿真模型；基于动 物实验数据库，利用建模工具建立决策树、神经网络等不 物实验数据库，利用建模工具建立决策树、神经网络等不 同模型，对实验数据进行解析，指导药物研发，从而提高 决策质量、效率和成本效益。 5.中医药人用经验数据挖掘和决策模型研究 面向协定处方和院内制剂向创新药转化等业务活动， 针对人用经验缺乏高质量数据证据等问题，运用数据挖掘、 聚类分析、模拟技术，建立人用经验大数据库，针对疾病 特点和中医理论建立决策树、神经网络等不同模型，对临 床有效性和特点进行解析，提高中药创新药转化决策质量、

润达医疗 推想科技 科大讯飞 NLP 智能辅助编码 ICD9 病案科 AI算力 推理一体机 三甲医院 全国前十 瑞星 短信 看病能力 赚钱能力 全文摘要 医院在人工智能技术的应用上，当前主要通过数学模型优化手术排程，旨在提升手术室使用效率与医院 收入，尽管潜力巨大，实际部署需深入理解医院运作细节。AI在门诊排班、检验报告解读以及电子病 历、影像诊断等方面的应用也显示出效率提升的可能。医院对AI持开放态度，计划逐步加大投入，但资 展与医院管理策略的协同重要性。 章节速览 ● 00:00 运用数学模型与AI提升医院手术排程与门诊利用率 通过一套数学模型预测不同层级手术占用时间，以优化手术室排程，减少等待时间并提高效率，进而增 加医院收入。同时，讨论了利用AI，如deep seek，提升手术排程的可能性，尽管实际操作需要对医院业 务有深入理解且模型训练不易。此外，还提及了门诊排班与排号的问题，特别是如何通过运筹规划最大 大 化诊室利用率，以应对高门诊量的挑战。当前，这些优化工作主要依赖人工思路的理清，为未来基于大 模型的智能排程奠定基础。 ● 01:59 医院运营效率提升与AI技术的融合 对话主要围绕医院运营效率的提升空间，特别是通过引入AI技术来增强医院的运营效率。讨论了与IT厂 商合作的预算可能提升，以及AI技术在电子病历系统中的应用，如海泰等厂商正在尝试在其产品中嵌 入AI功能，以提升医疗服务效

为整个平台范围内数据自由、可靠、可信的交换提供技术基础和保障。 特征： 4. 标准性：使用 XML 、 JSON 作为标准通信语言，制度规范交换数据模型。 5. 一致性：数据交换双方使用相同的数据内容，保证数据内容一致。 6. 异构性：跨操作系统交换数据，与编程语言无关。 7. 安全性：使用标准安全模型，保障信息安全和隐私信息。 信息平台交换层 医院信息平台门户 医务人员门户 行政管理人员门户 患者公共服务门户 医疗一卡通 信息平台集成服务 临床数据中 心 CDR 运营中心 ODS 科研管理中 心 LDR HIS EMR NIS HRP 医院业务系统 LIS PACS 图注：资源层整体架构图 临床数据中心数据模型 以患者为中心， 就 诊时间轴为主线， 将相 关临床事件通过 患者标 识、临床逻辑 规则进行 关联，并按 照其逻辑关系进行数 据组织。 信息平台资源层 - 临床事件  基于 HL7 Role • RoleLink 角色关系 • Participation 参与 • Act 活动 • Act Relationship 活动关 系  基于 HL7 CDA 构建文档模型 • 时序模型  绝对时间轴  相对时间戳 基于大数据技术的数据中心 1. 高性能快速读写； 2. 横向扩展能力； 3.高可靠性和容灾 机制； 4. 数据存储多样性； 5. 强大的计算能力

数据、移动问诊数据、体检数 据、智能穿戴数据 ... 区域居民健康 医疗数据中心 标准规范体系 安全保障体系 数据湖 数据中台 AI 中台 数据采集 数据存储 数据出来 数据管理 分析模型 知识图谱 聚类服务 建设内容 1- 健康医疗数据中心 Page 11 1- 健康医疗数据中心 健康医疗数据中心 2- 电子健康码 电子健康码是便于居民获取连续医疗 服务和免费基本公共卫生服务，动态掌握 ：行业领先的安全体系 防攻击中心 高级安全服务 安全管理 云平台安全 安全解决方案 • 分布式节点 • 边界防御 • 等保测评 • 渗透测试 • 服务器安全 • 密钥管理 • 安全责任共担模型 • 云平台架构安全 • 内容安全解决方案 • 混合云安全方案 拥有行业领先的安全体系，具备 ISO 9001/27001 、等保三级 、可信云、国际云安全联盟 C-STAR 等多项安全认证，致 比如症状、接触史、生活史、交通史等。这极大限制了系统对传染病的监测预警能力。 现行的传染病预警系统于 2004 年正式在全国运行，其平台架构、数据管理、模型构建是 10 几年前的技 术。比如数据管理仍然以中心服务器为主的集中式管理，预警模型以不具学习能力的确定型模型为主。 与目前传染病监测体系的差异对比 国家传染病自动预警系统 2004 年成功启用了一套基于互联网的国家疾 病监测信息报告系统 ，该系统使得医疗卫生机

应急指挥 - 防控综合评价 - 决策分析 领导决策人员 •综合决策、协调联动 •全局掌控，重点部署 •建立评价体系，规范疾控工作 防控管理人员 - 监测信息审核 - 建立指标体系 - 模型定制 - 防控过程监控 - 监测举报 - 查询检索 - 监测上报 - 查询检索 业务监测人员 社会群众 • 满足日常管理与专项防控 • 全程监控，责任倒查，强化质控 • 信息公开，提供服务 立足目前业务需要，兼顾未 来拓展，构建便于扩展的指 标体系和分析模型；提供可 视化的展示效果，提高支持 决策能力；制定疾病防控决 策提供信息支持。 利用物联网、互联网， 扩展疾控监测覆盖业务 层面，构筑省级疾病防 御网络云平台，为进一 步完善和规范疾控综合 管理工作提供技术支撑。 整合已建设资源，多维度、 多领域的整合公共卫生相 关系统 , 研究科学的预测 预警、风险评估模型，全 面提升疾病防控干预处置 能力。 疾控综合 防控干预 管理 有效集成卫生相关，坚持疾控事业为保障人民健康服务的宗旨，提升公众满意度； 逐步形成疾控工作综合统筹、精细管理、运转高效的社会服务管理新机制。 辅助决策 支持 疾控综合管理业务模型 疾 控 相 关 信 息 接 入 区域电子健康 区域卫生相关 以信息化为支撑，构建疾控综合业务管理网络，满足日常工作与明确的疾控管理职责 定位相结合，实现疾控综合管理 “规范化” 、 “网格化”的