突破[1]。大模型又被称 为预训练模型、基础模型（Foundation models），它可以集中各种模态的数据信息，然 后基于海量数据、超大规模参数进行预训练（Pre-training）并通过微调（Fine-tuning） 以适配不同领域任务需要[2]。在医疗领域，医疗数据本身就具有多模态的特性，大模型 将进一步推进智慧医疗、医疗元宇宙和医疗研究的发展进程。比如电子病历理解、医 疗问答 郑琰莉，学士，发表论文 2 篇; 通信作者: 苏文星，硕士，发表论文 4 篇。 大模型构建流程分为：预训练、微调、奖励模型、强化学习四个阶段。预训练即 利用海量的训练数据和无监督学习的方法学习到通用的特征或知识，并将这些特征或 知识迁移到其他任务上，用于增强模型的泛化能力和表现。微调是指在已有的预训练 语言模型基础上，然后在新的数据集上进行少量的训练，使得模型能够更好地适应新 的任务或领 的任务或领域。提示调优（Prompt-tuning）、指令调优（Instruction-tuning）[7]和前缀调 优（Prefix-tuning）是现在大模型微调方法中较为常用的方法，其中 Prompt-tuning 是通 过提示来引导模型生成相关内容，Instruction-tuning 通过指令来训练模型执行特定任务， 而 Prefix-tuning 则是通过在输入中添加前缀来控制生成结果的格式和结构。奖励模型

问问同检”应用方案的选择 当前常见的大模型应用方案主要包括大模型直答、大模型微调和 RAG ( 检索增强生成 ) 。 大模型直答虽成本低，但幻觉现象严重，缺乏领域知识与实时信息，且可溯源性较差。微调方案通过 优化模型获取领域知识，减少部分幻觉问题，但仍无法动态更新数据，且训练成本较高。 大模型 应用方案 大模型直答 问题 LLM 回答 问题 大模型微调 LLM + 领域知识 回答 RAG( 检索增强生成 问题 + 检索知识 LLM 回答 大模型直答 大模型微调 RAG ( 检索增强生成 ) 外在幻觉 多 中 少 领域知识 无 有 有 实时信息 无 无 有 可溯源 无 无 有 成本 低 高 低 RAG 方案则通过检索外部知识库，将外部知识作 为 生成内容的基础，从而大幅降低幻觉现象的发生。与仅 依赖模型记忆的直答和微调方案不同， RAG 方案具备 动态接入外部知识库的能力，在应对领域性问题和实时 【核心机制】基于岗位需求与人力资源的 " 动态平衡法 则 "  临床资源精准匹配  医疗质量安全强化  人员发展需求适配 【系统价值】通过人工智能持续优化，实现三大核心目标： 构建排班决策智能数据中枢、自动排班、人工微调 【智能排班】 NEXT- 基于大语言模型的质量指标总结 质量指标总结 NEXT- 基于大语言模型的员工考核系统 未经专业训练的大语言模型 AI 技术在检验医学中落地的挑 战 通用大模型（如

础模型（base model），如GPT-3、PaLM、LLaMA等。然后，这些基础模型可以 进一步在特定的任务上进行微调，以更好地遵循人类的指示，从而得到现在被人们 广泛使用的ChatGPT，Copilot等产品。还有人尝试使用具体垂直领域，如生物医 疗、法律、教育，等领域的文本对基础模型进行微调以得到专用大语言模型，这些 模型同样在具体领域上展示出了良好的性能。此外，大语言模型具有在推理时根据 输入的P 如当前的大语言模型实际缺乏医学领域的专业知识，并且很多情境下难以理解医学 上下文的依赖性，大语言模型还经常会出现幻觉的问题，这些局限性通常会导致大 语言模型预测时会出现一些错误。 虽然目前已有用医学文本微调后的医学大语言模型，但大语言模型幻觉的问题目前 难以解决。一种可能的解决办法是使用检索增强生成（RAG）技术来进行结果增强 以避免幻觉，不过RAG技术仍受到知识库构建步骤的影响。总体而言，大语言模型

类筛选。然而实际情况下，模 型并无法得到完美的分子表征，因此在实际应用中，往往需要对大规模预训练进 行微调，从而优化分子的表征。而微调这一过程同有监督学习一样，受到数据标 签偏差的影响。在虚拟筛选这个领域，分子的标签是严重不平衡的，因为药物化 合物的数量实际是远远少于非药物化合物的。这就导致了微调阶段模型可能会不 自觉地过度拟合到现有药物化合物上，造成模型在实际应用中的假阴性上升。 写在最后：

从模型层看，可使用Transformer、BERT等框架，输入大规模医疗语料，通过Masked LM、Next Sentence Prediction等方式进行无监督预训练。 从应用层看，预训练模型微调，结合医学知识图谱、规则库等知识源增强医学专业 性，使用知识蒸馏、参数剪枝等技术压缩模型并在真实临床环境中评估、调优。经验 证的模型可部署到医疗信息系统、移动设备等，提供智能服务。 （二）医疗大模型的主要应用场景和适用范围 伦理、法律和安全挑战。大模型无论在训练还是在使用的过程中，都需要保障隐私和 数据安全，本地化部署、数据加密、增强数据多样性等都是保障隐私和数据安全性的 重要措施。 在本地化部署与隐私计算方面，医疗大模型微调过程需用大量患者敏感隐私数据，直 接训练存在潜在风险。隐私计算技术降低信息泄露风险，结合多种技术路线实现高效 本地计算。这可以确保模型在安全计算环境中运算，提高模型安全性，且不影响效 果。 在数据 域，实现了技术和应用场景的重要突破。未来，为满足临床需求，医学大模型发展需 转向多模态，深入挖掘更多医疗领域，以减轻医生负担，惠及更多患者。 然而，我们也应注意到，尽管国内医学大模型层出不穷，但多数仅在现有大模型基础 上进行微调训练并重新包装，导致国内自研大模型在数量和质量上相对较低。此外， 医学领域大模型的广泛应用缺乏相应的伦理监管和针对性法律法规，特别是在处理患 者隐私数据安全方面。 大模型在开发、训练、测试和实际应

r · · 20 2024 Med-Gemini 一 性能最好，未来趋 势 长文本处理 Self training+ 网络搜索 内在能力 注入医学领域知识 多模态理解 微调 + 定制编码器 高级推理 推理链提示 s EMENS: H a l t h · n r · · © Siemens Healthineers, 2024 a l t h · n r · · Computed Tomography 25 © Siemens Healthineers, 2024 目标 : 微调 SHS 语言模型进行报告摘要 BodyGPS - 自动识别并展示报告中的检查结果 基于报告，生成展示和解释检查结果的解剖学信息的视频。 Diffusion 技术在西门子医疗的应用：以文生视 频

③ 精 准 可 解 释 ④ 医 疗 应 用 ② 剖 析 大 模 型 ① 关 于 预 训 练 预训练大模型 （学习共性） 大数据（低成本无标注） 少量特定领域标注数据 （成本高） 微调小模型 （学习特性） ⑤ 数 基 生 命 1.模型角度：模型参数不再是随机初始化，而是通过一些任务（如语言模型）进行预训练； 2.数据角度：将训练任务拆解成共性学习和特性学习两个步骤。 CHIMA prediction ，对应图 NSP ）进行预训练，使得模型能够学习到上下文关系和词汇语义。预训练好的 BERT 可以用于对 输入文本进行编码，得到具有语义的向量表示。 预训练好的 BERT 也可以通过微调（ fine-tuning ）方式适配各类 NLP 任务： The Stanford Question Answering Dataset 问答（ SQuAD ）、命名实体识别（ NER ）、 MNLI 医学影像报告中的所见 -> 影像学报告中的印 象 1 ）构建并融合知识图谱 + LLaMa （ Meta 公司开源的生成式大 模 型） 利用知识图谱直接显式的进行形式化拼接，引入预训练语料，通过 微调的开源大模型，得到精确性与可解释性更好的模型。 2 ）知识图谱在 prompt engineering 中的应用方法 知识图谱的引入可以使其上下文环境更符合现有领域知识，比如用 知识图谱来构建不

据结构来确保数据的完整性和可读性。 2. 模型选择：选择与医疗文本生成相关的预训练 AI 大模型，可 以根据模型的性能、训练数据和针对医疗领域的专用性来进行 评估。可能的选择包括结合医疗领域知识进行微调（fine- tuning）的版本，确保更符合临床实际。 3. 模型训练与优化：在选择模型后，通过对特定医疗文本的训 练，进一步提升模型的生成效果。此过程可能包括选用特定的 优化算法、调整学习率，以及利用结合现有病历数据集进行迁 升初步诊断的准 确性。 为了实现上述功能，AI 大模型通常由几个关键组成部分构成， 包括但不限于：  数据预处理：对病历数据进行清洗和结构化；  模型训练：在大规模标注数据上进行训练，微调模型以适应中 医病历的特点；  模型评估与优化：通过交叉验证和反馈机制，不断优化模型性 能；  推理与生成：利用训练好的模型进行实时病历生成，并根据医 务人员反馈进行调整。 模型的构 通过对海量历史病历数据的学习，能够实现更准确的疾病识别和状 态评估，并提供基于证据的诊疗建议。 具体技术趋势如下：  预训练模型的普及：如 GPT、BERT 等模型通过在大规模语料 库上进行预训练，然后在特定医疗领域进行微调，使得模型能 够更好地理解和生成专业的医疗语言。  迁移学习的应用：迁移学习技术使得已经在其他领域训练好的 模型能够迅速适应医疗领域，通过少量数据就能实现较好的性 能，极大地降低了模型训练的成本与时间。

亿。 迅猛发展期：参数突破百亿级，从“手工作坊”进入“工业量产”。 GPT-2( 2019)15 亿参数，能生成连贯长文本， GPT-3(2020)1750 亿参数，零样本学 习 ( 无需微调直接使用 ), 震惊业界。 生态期 (2023 至今 ): 应用与争议并存， · 特点：通用大模型竞争白热化，垂类模型兴起，社会伦理问题爆发。 · 关键进展： ChatGPT(2022.11): 海量医学文献、病历 互 联 网 全 部 电 子 数 据 业务系统 ( 料研、临床、电者服务 等 ) 嵌入或者 API 调用 智能应用 ( 对话形式 ) 智能能力 ( API 形 式 ) 监督微调 (SFT) 持续预训练 (Continue PreTrain) 从零预训练 (PreTrain) 应用知识库 ( 专病指南、 FAQ 等 ) 增强检索 (RAG) 工作流 (Workflow)

《医疗卫生机构网络安全管理办法》三级等保要求。服务层核心模 块包括自然语言处理引擎、医学知识图谱和规则校验器，其中 NLP 引擎采用 BERT-Base 中文医疗版作为基础模型，经 10 万份三甲医 院真实病历微调，实体识别准确率达到 92.3%（测试集 F1 值）。 关键业务流程如下： 1. 医生通过 Web 端或院内系统集成界面启动会话 2. 系统实时转录音频并提取关键临床要素 3. 自动填充 SOAP BiLSTM-CRF (300 维 GloVe 词向量) F1-score 0.927 文本分类 多层 CNN (kernel sizes=3,5,7) 准确率 88.4% 语义相似度 Siamese BERT (微调) Spearman 相关系数 0.812 系统通过以下机制保障临床适用性：  动态权重调整：根据科室差异自动调整模型注意力机制权重， 如内科病历侧重实验室指标关联分析，外科病历侧重手术操作 内存/NVIDIA T4 显卡×2） o 通过医疗专网建立加密数据传输通道（采用 SM4 国密算 法） 2. 数据准备阶段（2 周） o 抽取脱敏历史病历数据（不少于 5000 份）用于系统微调 o 建立测试专用术语库，包含 ICD-10 标准诊断编码和机构 特色词条 o 配置专科知识图谱（如心血管病专科需包含 ACC/AHA 指 南关键条目） 3. 临床测试阶段（4 周）需监控以下核心指标：