预训练大模型与医疗：从算法研究到应用 1. 预训练大模型概述 2. 理解大模型的内在机理 3. 赋予模型精准性与可解释性 4. 医疗领域应用 5. 清华探索：数基生命 CHIMA 20Pag2 Tsinghua Confidential | lvhairong@tsinghua.edu.cn CONTENTS 预训练：从大数据到小数据 ③ 精 准 可 解 释 ④ 医 疗 应 用 用 ② 剖 析 大 模 型 ① 关 于 预 训 练 预训练大模型 （学习共性） 大数据（低成本无标注） 少量特定领域标注数据 （成本高） 微调小模型 （学习特性） ⑤ 数 基 生 命 1.模型角度：模型参数不再是随机初始化，而是通过一些任务（如语言模型）进行预训练； 2.数据角度：将训练任务拆解成共性学习和特性学习两个步骤。 CHIMA 20Pag2 Tsinghua Confidential lvhairong@tsinghua.edu.cn 英文 英文电子病历后结构化 电子病历后结构化 电子病历 后结构化 A 不懂英文 B 懂英文 C 懂英文的医生 Transformer 架构：预训练的基 石 ③ 精 准 可 解 释 ④ 医 疗 应 用 ⑤ 数 基 生 命 ② 剖 析 大 模 型 ① 关 于 预 训 练 从 word2vec 到 Transformer 从 context-free

性等问题，以及对数据隐私和安全问题的担忧。本文主要探讨医疗大模型在医疗领域 的应用及其面临的挑战。 大模型技术在医疗领域的应用 （一）医疗大模型的逻辑框架 医疗大模型一般指在医疗健康领域应用的大规模预训练语言模型（LLM），其训练数 据集包含大规模的医疗科研文献、电子病历、医学图像等，参数量通常在百万级到亿 级，远超过普通深度学习模型，因而能够获取更强的特征提取和学习能力等。 医疗大模型的典型运作逻辑主要包含三个层面： 模化的医疗语料库。 从模型层看，可使用Transformer、BERT等框架，输入大规模医疗语料，通过Masked LM、Next Sentence Prediction等方式进行无监督预训练。 从应用层看，预训练模型微调，结合医学知识图谱、规则库等知识源增强医学专业 性，使用知识蒸馏、参数剪枝等技术压缩模型并在真实临床环境中评估、调优。经验 证的模型可部署到医疗信息系统、移动设备等，提供智能服务。 在准确度方面，模型仅学习单词间概率关联，缺乏真正的理解能力，且训练数据质量 参差不齐，准确性有待提升。大模型训练过程中需加强数据验证、增加不确定性指 标、优化医疗精度，并通过智能提示等方式自我改进。医疗大模型要求更高的准确 度，且医疗领域数据相对稀缺。 在透明度与可解释性方面，模型如何从输入查询和数据结构生成答案（“黑箱”问题） 尚不明确，也不清楚训练数据集中哪些部分在结果响应中使用。解决这一问题需在模

.......................................................................................68 6.2.2 模型训练与调优................................................................................................ 员查 阅，还可以通过数据挖掘分析，为患者管理和公共卫生研究提 供数据支持。 为了实现上述目标，需考虑以下几个关键因素：  数据来源：需收集和整理大量的中医门诊病历数据，为 AI 模 型的训练提供优质样本。  AI 模型选择：选择适合中医领域的 AI 大模型，对其进行迁移 学习，以增强其在病历生成时对中医理论的理解。  系统集成：将 AI 生成的病历与医院现有的信息系统进行无缝 为实现这一目标，必须考虑以下几点可行性： 1. 数据整合：需构建全面的患者信息数据库，包括历史病历、治 疗记录及患者反馈，确保 AI 模型的学习与推断有据可循。 2. 专家参与：在 AI 模型的构建与训练过程中，应由中医专家团 队进行指导，保证模型在中医领域的适用性和准确性。 3. 用户体验：设计简单易用的前端界面，确保医生在使用过程中 能够快速上手，并根据反馈持续优化功能。 4. 系统安全

DALL-E、GPT-4、LLaMA 等人工智能大模型 （下称“大模型”）的出现，也给该领域带来了前所未有的技术突破[1]。大模型又被称 为预训练模型、基础模型（Foundation models），它可以集中各种模态的数据信息，然 后基于海量数据、超大规模参数进行预训练（Pre-training）并通过微调（Fine-tuning） 以适配不同领域任务需要[2]。在医疗领域，医疗数据本身就具有多模态的特性，大模型 GAN（Generative Adversarial Network）[4]的出现，推动了生成式人工 智能的革命性发展，随后以 Transformer[5]、BERT[6]为代表的预训练模型的诞生，颠覆 了以往的深度学习模型网络结构，大幅提高了模型训练速度和对多模态感知、创作和 推理的能力，同时模型的参数量级也从百万级跃升到了百亿级，甚至出现了千亿级大 模型。截止 2023 年 6 月，国内外有超过百种大模型相继发布，国外如 模型可以将文本转为音频；Codex 模型可以实现文本转编 码等。从工程角度看，MaaS（Model as a Service，模型即服务）正在成为该领域的新 模式，助力大模型从数据预处理、模型构建、模型训练、模型评估到模型服务全流程 构建。 2.2 人工智能大模型构建流程 bmr.202312.00027V2 http://www.biomedrxiv.org.cn/article/doi/bmr

通常说的大模型的“大”的特点体现在：参数数量庞大、训练数据量大、计算资源需求高 2020 年， OpenAl 公司推出了 GPT-3, 模型参数规模达到了 1750 亿， 2023 年 3 月发布的 GPT-4 的参数规 模是 GPT- 3 的 10 倍以上，达到 1.8 万亿， 2021 年 11 月阿里推出的 M6 模型的参数量达 10 万亿 2.1 大模型的概念 大模型的设计和训练旨在提供更强大、更准确的模 力，能够理解更复杂的语意和语 境。这使得它们能够产生更准确、 更连贯的回答 可迁移性高 学习到的知识和能力可以在不同 的任务和领域中迁移和应用。这 意味着一次训练就可以将模型应 用于多种任务，无需重新训练 二、大模型：人工智能的前沿 语言生成能力 大模型可以生成更自然、更流利 的语言，减少了生成输出时呈现 的错误或令人困惑的问题 2.2 大模型的发展历程 萌芽期：模型小 、任务单一、依赖人工设计规则。 突破期：标志事件是 2017 年 Google 发布 Transformer 论文，提出自注意力 机制 。代表模型 GPT-1(2018),OpenAl 首个生成式预训练模型，参数 1.17 亿。 迅猛发展期：参数突破百亿级，从“手工作坊”进入“工业量产”。 GPT-2( 2019)15 亿参数，能生成连贯长文本， GPT-3(2020)1750 亿参数，零样本学

能够做到同时保持高精度以及高速的药物筛选。 然而，高质量数据这一前提条件十分的苛刻，简而言之，高质量数据要求具 备两个特征: 1，进行训练的药物或者非药化合物涵盖了大范围的化合物特征空 间，2，药物针对特定靶点的亲和力数据十分准确。如果数据不符合特征1，则 AI方法的泛化性将十分有限，基本无法预测训练数据中没有见过的化合物种类。 如果不符合特征2，AI方法的可信度同样无法保证。 虽然随着药物数据库的发展，高质量有标签数据变得越来越多，但想要足以 随着transformer模型的出现，人们注意到了利用无标签数据对模型进行预 训练可以提高模型的性能，正如目前风头正热的GPT，GPT利用了大量无标签文 本数据进行自监督预训练，这些文本数据虽然没有标签，但是数据量远远多于有 标签的数据。相应的，模型也可以进行大规模的设计以适应海量的数据。这便是 AI大模型的由来。经过了自监督训练任务，AI模型方法仿佛理解了自然语言的语 法，从而为自然语言处理带来了质的飞跃。 法，从而为自然语言处理带来了质的飞跃。 而在药物筛选领域，如果我们依照类似的方式，让AI模型去充分利用海量的 蛋白、分子数据去进行自监督训练，是否也有可能学习到分子世界中的"语法"规 则? 这种方法的潜在优势在于，它可以利用现有的大量无标签分子数据集，就像 GPT使用互联网上的无标签文本一样。通过自监督学习，模型可以无需昂贵的实 验数据标签，就能够识别和理解生物分子的本质特性，从而为新颖和强大的药物 发现机制奠定基础。如果A

通过一套数学模型预测不同层级手术占用时间，以优化手术室排程，减少等待时间并提高效率，进而增 加医院收入。同时，讨论了利用AI，如deep seek，提升手术排程的可能性，尽管实际操作需要对医院业 务有深入理解且模型训练不易。此外，还提及了门诊排班与排号的问题，特别是如何通过运筹规划最大 化诊室利用率，以应对高门诊量的挑战。当前，这些优化工作主要依赖人工思路的理清，为未来基于大 模型的智能排程奠定基础。 ● 01:59 求及医保政策，成为医院广泛应用的领域，采购金额从100万到几百万不等；超声语音智能录入系统则 因需针对上千份病历模板进行训练，初期投入200万，但由于其高度定制化，科大讯飞认为其不具备广 泛的可推广性。 ● 10:31 医院AI应用面临的挑战及解决方案探讨 在医院使用AI技术时遇到的主要问题是AI系统无法直接落地使用，需要针对每家医院重新训练，这是当 前人工智能应用的难点之一。由于医生书写病历时格式不统一，尤其是进修医生每半年轮换一次，导致 强文书书写的规范 化。此外，病案科希望通过智能辅助编码解决医生手术名称与国家卫健委要求上报的ICD9编码之间的差 异问题，但目前尚未有特别成熟的产品能够满足这一需求。未来，AI算力的提升可能使得训练成本成为 最大的挑战。 ● 13:08 医院与科技公司在AI医疗诊断领域的合作模式 对话围绕医院、华为以及第三方检验公司（如金域、迪安诊断）在AI医疗诊断领域的合作模式展开。医 院对AI在检

Perceptron ，将人工智 能推向第一个高峰 1970 年 计算能力无法支持 大模型数据训练和 复杂任务， AI 进 入第一个低谷 第一次 浪潮 1960s 1980s 2000s 2020s 1982 年 霍普菲尔德神经 网络被提出 1986 年 BP 算法使得大规模神 经网络的训练成为可能， 将 AI 推向第二个黄金 期 199 0 年 AI 计算机 DARPA 计划失败，政府缩 硬件发展，大规模数据，算法突破 推荐系统 人脸识别 算法框架：深度神经网络、卷积神经网络 自动进行特征学习，端对端训练，有监督 在特定场景效果好，但需要根据 不同任务训练不同的模型，泛化 能力差 生成式 AI 2020- 硬件、算法、大数据全面突破 对话机器人 算法框架： Transformer 大规模无 监督预训练 多任务、多模态统一处理 自然语言理解、世界知识记忆、 逻辑推理 人工智能时代推动检验技术的发展 DeepSeekV3 首个版本上 线并同步开源模型权重 2025 年 1 月 正式发布 DeepSeekR1 模型，在大模型排名 Arena 中其基准测试升 至全类别大模型第三 加快 AI 应用普及降低训练成 本 加快国产模型 + 国产芯片的进 程 开源生态推动技术平权和应用普惠 DeepSeek 的开源策略降低了中小 企业和开发者使用先进 AI 技术的 门槛，加速了技术普惠。 API 服务

海思瑞格作为一家深耕于心肺康复领域，具有院内肺功能评估、康复训练实时 监控以及院外康复完整解决方案的国家级高新企业，针对患者愈后康复的需求、 卫健委的相关政策和专家们给出的康复指导意见，基于多年在医疗级可穿戴设 备、物联网、大数据和人工智能等技术方面的积累，针对新冠肺炎患者康复需 求对心肺康复产品进行优化升级，推出新冠肺炎患者愈后康复管理解决方案。 海思瑞格的康复管理方案由肺功能评估、康复训练、院外康复三个方向组成。 全面了解患者状态，为其制定相应康复训练计划和治疗方案；针对要转诊到基 层医疗机构做康复训练的患者，依据评估报告和患者病情开具相应康复处方， 指导其在基层医疗机构的康复训练和健康监测。 二、康复训练：对于心肺康复患者，评估、训练、监测伴随整个康复过程 。 SensEcho 数字化康复监测系统为患者康复训练提供实时心率、血氧和靶心率 监测，在患者康复训练过程中，一旦出现异常，系统自动报警，为康复全程提 呼吸，定点医院或康复医疗机构的医生可以为患者开具康复处 方，患者依据处方利用 FREE 呼吸 APP 完成康复训练和自我监测，并可把相应 报告分享给医护人员。系统含有评估问卷、呼吸操、呼吸模式重建、心理疏导 和自我监测的功能。依据问卷做初步评估；呼吸操”指导患者开展健康训练，旨 在通过合理的运动恢复患者的呼吸功能和躯体功能；特有的呼吸重建训练为呼 吸功能萎缩的患者恢复肺功能；应用心理疏导音频，患者可以在家中自主疏导

型可以整合海量的医疗研究相关文本，通过在文本中提取潜在的关联信息，发现 人类可能忽视的模式或连接。目前已有研究通过向大语言模型提问的方式，提取 出针对特定疾病的潜在靶点，从而避免一些不必要的组学实验。此外，AI模型完 成训练之后，可以将类似反向对接技术的时间复杂度降低到线性级别，甚至提高 精度。AI也可以进行蛋白质结构的预测，从而帮助结构相似性分析等技术的实 现。 基于上述所提的AI在靶点发现中的应用，本文将依据近期的AI医疗相关论 BioGPT，通过细分领域额外预训练、PROMPT设计、信息提取流程设计等方 式，提出了BioGPT-G模型。作者利用BioGPT-G，针对14种衰老相关疾病定位 并排序了9个靶点，其中包含2个此前未被报道的衰老疾病相关靶点，这验证了 大语言模型在新颖靶点预测及靶点优先级排序中的潜力。 BioGPT-G工作原理 细分领域额外预训练：作者将Microsoft已经预训练得到的医学文本大模型 Bio BioGPT作为baseline，利用与靶点发现更相关的美国国家卫生研究所 （NIH）科研基金资料对其进行了额外的预训练，以期望提高BioGPT在靶点 发现这一细分任务上的预测性能。额外预训练的BioGPT被称为BioGPT-G。 作者发现，将大语言模型在细分领域上进行额外预训练后，模型相比 baseline能够与细分领域具有更大的关联性，这将更充分的调动大语言模型 在细分任务上的性能。 P