预训练大模型与医疗：从算法研究到应用 1. 预训练大模型概述 2. 理解大模型的内在机理 3. 赋予模型精准性与可解释性 4. 医疗领域应用 5. 清华探索：数基生命 CHIMA 20Pag2 Tsinghua Confidential | lvhairong@tsinghua.edu.cn CONTENTS 预训练：从大数据到小数据 ③ 精 准 可 解 释 ④ 医 疗 应 用 用 ② 剖 析 大 模 型 ① 关 于 预 训 练 预训练大模型 （学习共性） 大数据（低成本无标注） 少量特定领域标注数据 （成本高） 微调小模型 （学习特性） ⑤ 数 基 生 命 1.模型角度：模型参数不再是随机初始化，而是通过一些任务（如语言模型）进行预训练； 2.数据角度：将训练任务拆解成共性学习和特性学习两个步骤。 CHIMA 20Pag2 Tsinghua Confidential lvhairong@tsinghua.edu.cn 英文 英文电子病历后结构化 电子病历后结构化 电子病历 后结构化 A 不懂英文 B 懂英文 C 懂英文的医生 Transformer 架构：预训练的基 石 ③ 精 准 可 解 释 ④ 医 疗 应 用 ⑤ 数 基 生 命 ② 剖 析 大 模 型 ① 关 于 预 训 练 从 word2vec 到 Transformer 从 context-free

.......................................................................................68 6.2.2 模型训练与调优................................................................................................ 员查 阅，还可以通过数据挖掘分析，为患者管理和公共卫生研究提 供数据支持。 为了实现上述目标，需考虑以下几个关键因素：  数据来源：需收集和整理大量的中医门诊病历数据，为 AI 模 型的训练提供优质样本。  AI 模型选择：选择适合中医领域的 AI 大模型，对其进行迁移 学习，以增强其在病历生成时对中医理论的理解。  系统集成：将 AI 生成的病历与医院现有的信息系统进行无缝 为实现这一目标，必须考虑以下几点可行性： 1. 数据整合：需构建全面的患者信息数据库，包括历史病历、治 疗记录及患者反馈，确保 AI 模型的学习与推断有据可循。 2. 专家参与：在 AI 模型的构建与训练过程中，应由中医专家团 队进行指导，保证模型在中医领域的适用性和准确性。 3. 用户体验：设计简单易用的前端界面，确保医生在使用过程中 能够快速上手，并根据反馈持续优化功能。 4. 系统安全

通常说的大模型的“大”的特点体现在：参数数量庞大、训练数据量大、计算资源需求高 2020 年， OpenAl 公司推出了 GPT-3, 模型参数规模达到了 1750 亿， 2023 年 3 月发布的 GPT-4 的参数规 模是 GPT- 3 的 10 倍以上，达到 1.8 万亿， 2021 年 11 月阿里推出的 M6 模型的参数量达 10 万亿 2.1 大模型的概念 大模型的设计和训练旨在提供更强大、更准确的模 力，能够理解更复杂的语意和语 境。这使得它们能够产生更准确、 更连贯的回答 可迁移性高 学习到的知识和能力可以在不同 的任务和领域中迁移和应用。这 意味着一次训练就可以将模型应 用于多种任务，无需重新训练 二、大模型：人工智能的前沿 语言生成能力 大模型可以生成更自然、更流利 的语言，减少了生成输出时呈现 的错误或令人困惑的问题 2.2 大模型的发展历程 萌芽期：模型小 、任务单一、依赖人工设计规则。 突破期：标志事件是 2017 年 Google 发布 Transformer 论文，提出自注意力 机制 。代表模型 GPT-1(2018),OpenAl 首个生成式预训练模型，参数 1.17 亿。 迅猛发展期：参数突破百亿级，从“手工作坊”进入“工业量产”。 GPT-2( 2019)15 亿参数，能生成连贯长文本， GPT-3(2020)1750 亿参数，零样本学

通过一套数学模型预测不同层级手术占用时间，以优化手术室排程，减少等待时间并提高效率，进而增 加医院收入。同时，讨论了利用AI，如deep seek，提升手术排程的可能性，尽管实际操作需要对医院业 务有深入理解且模型训练不易。此外，还提及了门诊排班与排号的问题，特别是如何通过运筹规划最大 化诊室利用率，以应对高门诊量的挑战。当前，这些优化工作主要依赖人工思路的理清，为未来基于大 模型的智能排程奠定基础。 ● 01:59 求及医保政策，成为医院广泛应用的领域，采购金额从100万到几百万不等；超声语音智能录入系统则 因需针对上千份病历模板进行训练，初期投入200万，但由于其高度定制化，科大讯飞认为其不具备广 泛的可推广性。 ● 10:31 医院AI应用面临的挑战及解决方案探讨 在医院使用AI技术时遇到的主要问题是AI系统无法直接落地使用，需要针对每家医院重新训练，这是当 前人工智能应用的难点之一。由于医生书写病历时格式不统一，尤其是进修医生每半年轮换一次，导致 强文书书写的规范 化。此外，病案科希望通过智能辅助编码解决医生手术名称与国家卫健委要求上报的ICD9编码之间的差 异问题，但目前尚未有特别成熟的产品能够满足这一需求。未来，AI算力的提升可能使得训练成本成为 最大的挑战。 ● 13:08 医院与科技公司在AI医疗诊断领域的合作模式 对话围绕医院、华为以及第三方检验公司（如金域、迪安诊断）在AI医疗诊断领域的合作模式展开。医 院对AI在检

Perceptron ，将人工智 能推向第一个高峰 1970 年 计算能力无法支持 大模型数据训练和 复杂任务， AI 进 入第一个低谷 第一次 浪潮 1960s 1980s 2000s 2020s 1982 年 霍普菲尔德神经 网络被提出 1986 年 BP 算法使得大规模神 经网络的训练成为可能， 将 AI 推向第二个黄金 期 199 0 年 AI 计算机 DARPA 计划失败，政府缩 硬件发展，大规模数据，算法突破 推荐系统 人脸识别 算法框架：深度神经网络、卷积神经网络 自动进行特征学习，端对端训练，有监督 在特定场景效果好，但需要根据 不同任务训练不同的模型，泛化 能力差 生成式 AI 2020- 硬件、算法、大数据全面突破 对话机器人 算法框架： Transformer 大规模无 监督预训练 多任务、多模态统一处理 自然语言理解、世界知识记忆、 逻辑推理 人工智能时代推动检验技术的发展 DeepSeekV3 首个版本上 线并同步开源模型权重 2025 年 1 月 正式发布 DeepSeekR1 模型，在大模型排名 Arena 中其基准测试升 至全类别大模型第三 加快 AI 应用普及降低训练成 本 加快国产模型 + 国产芯片的进 程 开源生态推动技术平权和应用普惠 DeepSeek 的开源策略降低了中小 企业和开发者使用先进 AI 技术的 门槛，加速了技术普惠。 API 服务

海思瑞格作为一家深耕于心肺康复领域，具有院内肺功能评估、康复训练实时 监控以及院外康复完整解决方案的国家级高新企业，针对患者愈后康复的需求、 卫健委的相关政策和专家们给出的康复指导意见，基于多年在医疗级可穿戴设 备、物联网、大数据和人工智能等技术方面的积累，针对新冠肺炎患者康复需 求对心肺康复产品进行优化升级，推出新冠肺炎患者愈后康复管理解决方案。 海思瑞格的康复管理方案由肺功能评估、康复训练、院外康复三个方向组成。 全面了解患者状态，为其制定相应康复训练计划和治疗方案；针对要转诊到基 层医疗机构做康复训练的患者，依据评估报告和患者病情开具相应康复处方， 指导其在基层医疗机构的康复训练和健康监测。 二、康复训练：对于心肺康复患者，评估、训练、监测伴随整个康复过程 。 SensEcho 数字化康复监测系统为患者康复训练提供实时心率、血氧和靶心率 监测，在患者康复训练过程中，一旦出现异常，系统自动报警，为康复全程提 呼吸，定点医院或康复医疗机构的医生可以为患者开具康复处 方，患者依据处方利用 FREE 呼吸 APP 完成康复训练和自我监测，并可把相应 报告分享给医护人员。系统含有评估问卷、呼吸操、呼吸模式重建、心理疏导 和自我监测的功能。依据问卷做初步评估；呼吸操”指导患者开展健康训练，旨 在通过合理的运动恢复患者的呼吸功能和躯体功能；特有的呼吸重建训练为呼 吸功能萎缩的患者恢复肺功能；应用心理疏导音频，患者可以在家中自主疏导

N G U N I VERSIT Y OF SCIENC E AND TEC HNOLOGY 技术架构 存证取证 数据融合 模型预测 数据上链 过程上链 审计溯源 模型评估 模型训练 数据统计 联合查询 联合分析 数据查询 信 息 与数 据中心 算力资源 存储资源 服务层 展现层 授权管理 认证鉴权 计算管理 安全管理 就诊记录 服务管理 审计管理 随诊记录 电子病历 华中科技大学 区块链 数字身份验证 数据协同方式 多方安全计算 数据节点间的业务 经由隐私计算平台 协同，各方数据在 本地计算，只输出 数据的价值 科研视角：跨医疗机构科研数据共享、模型训练的场景 数据节点 法来模仿人类学习的方式，逐渐提高其准确性。 联邦学习是隐私计算的三种主流技术路线之一。通俗来说就是解决跨孤岛问题而来的，是一种机器学习， 其中许多客 户端在中央服务器的协调下共同训练的模型，同时保持训练数据的去中心化及分散性。联邦学习在数据不出域的情况 CHIMA 下的数据利用与建模，保证数据的可用不可见。 联邦学习的原理 同济医学院附属 t 和 院 U

常见医疗问题的咨询。“晓医”的回答正确率并非百 分百，通过不断的训练，回答正确率在逐步上升。 2.2 智能语音电子病历 优化现有电子病历的录 入过程，减少医生耗费在记录患者情况上的时间，增 加医生与患者交流的时间，对提高医疗服务质量至 关重要。智能语音识别采用深度学习算法，经模型训 练，训练的数据包括大量医学专业知识、文献和真实 工作场景中产生的数据，在训练中不断优化模型，使 得智能语音电子病历的语音识别模型适应性不断增 554 页） · 554 · 交通医学 2019 年第 33 卷第 6 期 Med J of Communications,2019,Vol.33,No.6 课程体系中，人文数理等通识教育、工程训练和医学 课程的比重各占 1/3，医学课程中，既包含了解剖、生 理等基础医学课程，也包括了内、外、妇、儿乃至中医 理论以及心理学等与临床密切相关的专业课程。课 程体系的设置，体现了以医学为本，同时，与数据科

建设项目管理、房屋使用分配与记录、设备设施监控、能耗与资源管理、成本计量与分配等 视频监控、停车、保安、门禁、消防、外协人员管理、应急预案管理与演练等管理 餐饮、工程维修、物流运送、电梯服务、保洁管理 护理、在职教育与训练、专业技能培训和考核等管理。 后勤保障 教学科研 安保管理 综合保障服务管理 教学管理 卫健委智慧医院标准 问题分析 不是缺少了哪个系统，而是关联数据没有表达，或者说是缺乏系统间数据缜密的关联设计 业务流程条目数 质控条目数 互联网医院 187 1467 解决方案 154 381 业务流程条目数 质控条目数 OA 172 196 业务流程条目数： 2736 中台技术 业务中台 语音训练 模型训练 数据标注 NL 知识图谱 AI 中台 数 智 中 台 数据采 据存储 数据中台 技术中台 中台技术 AI 中台 HOS 标准内嵌 诊断 术语 临床 路径 技术 HOS

特征提取 人脸比对 人体应用 人体属性查看 车辆引擎 人体引擎 CHIMA “ 智慧安保一张图”全景展示院区安全态势 数据 看板 攀高 / 越线告警 机动车违停报警 基础引擎 模型训练 数据交换 应用 软件 平台 软件 无感通行 VIP 迎宾 黑名单布控 访客管理 车辆检测 车辆属性 科研工作 者 医生作 其他工 或科临 项设 设是假 CHIMA 医疗语言大模型——“大医” CHIMA 大医 医疗语言大模型 • 超大语言模型 • 海量医学专业训练数据 • 基于强化学习 ，可依据 人 类反馈持续优化 疾病库 医学习题 检验 数据库 医学指南 药品库 “ 大医”——基于医疗语言大模型的自动问答服务 CHIMA 体检 02 】未来医院应用新生态 【 03 】未来医院建设新体 系 【 04 】数智化转型创新实 践 CHIMA 全科影像的互联互通和诊断 13 款影像 AI 应用一体化融合 多模态影像标注和训练管理 瑞金总院 瑞金北院 瑞金海南分院 瑞金无锡分院 瑞金舟山分院 瑞金卢湾分院 瑞金康复医院 瑞金古北医院 瑞金太仓医院 瑞金新发展医院 瑞金“未来医院”跨院区多模态 AI 技术融合平