突破[1]。大模型又被称 为预训练模型、基础模型（Foundation models），它可以集中各种模态的数据信息，然 后基于海量数据、超大规模参数进行预训练（Pre-training）并通过微调（Fine-tuning） 以适配不同领域任务需要[2]。在医疗领域，医疗数据本身就具有多模态的特性，大模型 将进一步推进智慧医疗、医疗元宇宙和医疗研究的发展进程。比如电子病历理解、医 疗问答 郑琰莉，学士，发表论文 2 篇; 通信作者: 苏文星，硕士，发表论文 4 篇。 大模型构建流程分为：预训练、微调、奖励模型、强化学习四个阶段。预训练即 利用海量的训练数据和无监督学习的方法学习到通用的特征或知识，并将这些特征或 知识迁移到其他任务上，用于增强模型的泛化能力和表现。微调是指在已有的预训练 语言模型基础上，然后在新的数据集上进行少量的训练，使得模型能够更好地适应新 的任务或领 的任务或领域。提示调优（Prompt-tuning）、指令调优（Instruction-tuning）[7]和前缀调 优（Prefix-tuning）是现在大模型微调方法中较为常用的方法，其中 Prompt-tuning 是通 过提示来引导模型生成相关内容，Instruction-tuning 通过指令来训练模型执行特定任务， 而 Prefix-tuning 则是通过在输入中添加前缀来控制生成结果的格式和结构。奖励模型

问问同检”应用方案的选择 当前常见的大模型应用方案主要包括大模型直答、大模型微调和 RAG ( 检索增强生成 ) 。 大模型直答虽成本低，但幻觉现象严重，缺乏领域知识与实时信息，且可溯源性较差。微调方案通过 优化模型获取领域知识，减少部分幻觉问题，但仍无法动态更新数据，且训练成本较高。 大模型 应用方案 大模型直答 问题 LLM 回答 问题 大模型微调 LLM + 领域知识 回答 RAG( 检索增强生成 问题 + 检索知识 LLM 回答 大模型直答 大模型微调 RAG ( 检索增强生成 ) 外在幻觉 多 中 少 领域知识 无 有 有 实时信息 无 无 有 可溯源 无 无 有 成本 低 高 低 RAG 方案则通过检索外部知识库，将外部知识作 为 生成内容的基础，从而大幅降低幻觉现象的发生。与仅 依赖模型记忆的直答和微调方案不同， RAG 方案具备 动态接入外部知识库的能力，在应对领域性问题和实时 【核心机制】基于岗位需求与人力资源的 " 动态平衡法 则 "  临床资源精准匹配  医疗质量安全强化  人员发展需求适配 【系统价值】通过人工智能持续优化，实现三大核心目标： 构建排班决策智能数据中枢、自动排班、人工微调 【智能排班】 NEXT- 基于大语言模型的质量指标总结 质量指标总结 NEXT- 基于大语言模型的员工考核系统 未经专业训练的大语言模型 AI 技术在检验医学中落地的挑 战 通用大模型（如

人类语言、代码语言、 XX 语言 2. 知识能力：海量公开知识，言之有物， GPT-2 时达 到 • 顺带学习（基座模型）：文字中蕴含了知识 • 压缩：幻觉 • 遗忘：微调（迁移学习），尤其是 RLHF 用人工神经网络获取网络模型：深度学习 -Transformer 模型 - 大语言模 型 大语言模型的核心原理：数据化 - 语义化 -NTP （ Next Token 大模型应用开发与深度学习实践 解决复杂 AI 应用场景中技术问题， 提升产品智能化水平。 专业 基础课 集中 实践课 专业 核心课 专业 选修课 神经网络与深度学习核心算法 大模型微调技术，优化算法性能 设计开发算法模型，解决实际问题 深度学习与 NLP 实践 语音识别技术 人工智能数学基础 数据库技术 计算机系统基础 操作系统导 论 人工智能导论 智能硬件与应用开发 大数据技术与应用 机器人技术与应用 模式识别与机器学习 大模型微调综合实践 大模型应用开发综合实践 Python 算法综合实践 Python 程序设计综合实践 人工智能综合实践 模型训练创新实践 图像识别与机器视觉 神经网络与深度学习 知识表示与处理 人工智能伦理 大模型微调技术 大模型应用开发 AI 开发方 向 Python 程 序 设 计 综 合 实 训

础模型（base model），如GPT-3、PaLM、LLaMA等。然后，这些基础模型可以 进一步在特定的任务上进行微调，以更好地遵循人类的指示，从而得到现在被人们 广泛使用的ChatGPT，Copilot等产品。还有人尝试使用具体垂直领域，如生物医 疗、法律、教育，等领域的文本对基础模型进行微调以得到专用大语言模型，这些 模型同样在具体领域上展示出了良好的性能。此外，大语言模型具有在推理时根据 输入的P 如当前的大语言模型实际缺乏医学领域的专业知识，并且很多情境下难以理解医学 上下文的依赖性，大语言模型还经常会出现幻觉的问题，这些局限性通常会导致大 语言模型预测时会出现一些错误。 虽然目前已有用医学文本微调后的医学大语言模型，但大语言模型幻觉的问题目前 难以解决。一种可能的解决办法是使用检索增强生成（RAG）技术来进行结果增强 以避免幻觉，不过RAG技术仍受到知识库构建步骤的影响。总体而言，大语言模型

.48 3.2.1 预训练模型选择标准..................................................................50 3.2.2 定制化微调方案.........................................................................52 3.3 数据库设计........... 高准确率和较好推理速度的模型。 其次，模型的可定制性和适应性十分重要。考虑到不同教育领 域和特定应用可能具有不同的需求，我们选择的模型需要能够灵活 调整，以适应不同的任务和数据集。例如，选择可以通过少量样本 进行微调的模型，有助于在特定教育场景中取得更好的效果。 另外，社区支持与文档的完善程度同样是一个重要因素。一个 活跃的开发者社区可以提供丰富的资源和解决方案，有助于加速我 们项目的实施进程。同时，完整的文档和示例代码能帮助开发人员 模型设计方案中能够充分发挥其在实际应用场景中的有效性与价 值。 3.2.2 定制化微调方案 在选择合适的 AI 大模型后，定制化微调方案是实现特定任务 性能优化的关键环节。定制化微调能够使预训练的模型适应特定领 域或任务的需求，提高其在实际应用场景中的效果。 首先，定制化微调的过程通常包括数据收集、数据预处理、模 型选择、微调策略制定及评估反馈几个环节。在这些环节中，确保 数据的质量和相关性是至关重要的。

类筛选。然而实际情况下，模 型并无法得到完美的分子表征，因此在实际应用中，往往需要对大规模预训练进 行微调，从而优化分子的表征。而微调这一过程同有监督学习一样，受到数据标 签偏差的影响。在虚拟筛选这个领域，分子的标签是严重不平衡的，因为药物化 合物的数量实际是远远少于非药物化合物的。这就导致了微调阶段模型可能会不 自觉地过度拟合到现有药物化合物上，造成模型在实际应用中的假阴性上升。 写在最后：

从模型层看，可使用Transformer、BERT等框架，输入大规模医疗语料，通过Masked LM、Next Sentence Prediction等方式进行无监督预训练。 从应用层看，预训练模型微调，结合医学知识图谱、规则库等知识源增强医学专业 性，使用知识蒸馏、参数剪枝等技术压缩模型并在真实临床环境中评估、调优。经验 证的模型可部署到医疗信息系统、移动设备等，提供智能服务。 （二）医疗大模型的主要应用场景和适用范围 伦理、法律和安全挑战。大模型无论在训练还是在使用的过程中，都需要保障隐私和 数据安全，本地化部署、数据加密、增强数据多样性等都是保障隐私和数据安全性的 重要措施。 在本地化部署与隐私计算方面，医疗大模型微调过程需用大量患者敏感隐私数据，直 接训练存在潜在风险。隐私计算技术降低信息泄露风险，结合多种技术路线实现高效 本地计算。这可以确保模型在安全计算环境中运算，提高模型安全性，且不影响效 果。 在数据 域，实现了技术和应用场景的重要突破。未来，为满足临床需求，医学大模型发展需 转向多模态，深入挖掘更多医疗领域，以减轻医生负担，惠及更多患者。 然而，我们也应注意到，尽管国内医学大模型层出不穷，但多数仅在现有大模型基础 上进行微调训练并重新包装，导致国内自研大模型在数量和质量上相对较低。此外， 医学领域大模型的广泛应用缺乏相应的伦理监管和针对性法律法规，特别是在处理患 者隐私数据安全方面。 大模型在开发、训练、测试和实际应

r · · 20 2024 Med-Gemini 一 性能最好，未来趋 势 长文本处理 Self training+ 网络搜索 内在能力 注入医学领域知识 多模态理解 微调 + 定制编码器 高级推理 推理链提示 s EMENS: H a l t h · n r · · © Siemens Healthineers, 2024 a l t h · n r · · Computed Tomography 25 © Siemens Healthineers, 2024 目标 : 微调 SHS 语言模型进行报告摘要 BodyGPS - 自动识别并展示报告中的检查结果 基于报告，生成展示和解释检查结果的解剖学信息的视频。 Diffusion 技术在西门子医疗的应用：以文生视 频

③ 精 准 可 解 释 ④ 医 疗 应 用 ② 剖 析 大 模 型 ① 关 于 预 训 练 预训练大模型 （学习共性） 大数据（低成本无标注） 少量特定领域标注数据 （成本高） 微调小模型 （学习特性） ⑤ 数 基 生 命 1.模型角度：模型参数不再是随机初始化，而是通过一些任务（如语言模型）进行预训练； 2.数据角度：将训练任务拆解成共性学习和特性学习两个步骤。 CHIMA prediction ，对应图 NSP ）进行预训练，使得模型能够学习到上下文关系和词汇语义。预训练好的 BERT 可以用于对 输入文本进行编码，得到具有语义的向量表示。 预训练好的 BERT 也可以通过微调（ fine-tuning ）方式适配各类 NLP 任务： The Stanford Question Answering Dataset 问答（ SQuAD ）、命名实体识别（ NER ）、 MNLI 医学影像报告中的所见 -> 影像学报告中的印 象 1 ）构建并融合知识图谱 + LLaMa （ Meta 公司开源的生成式大 模 型） 利用知识图谱直接显式的进行形式化拼接，引入预训练语料，通过 微调的开源大模型，得到精确性与可解释性更好的模型。 2 ）知识图谱在 prompt engineering 中的应用方法 知识图谱的引入可以使其上下文环境更符合现有领域知识，比如用 知识图谱来构建不

据结构来确保数据的完整性和可读性。 2. 模型选择：选择与医疗文本生成相关的预训练 AI 大模型，可 以根据模型的性能、训练数据和针对医疗领域的专用性来进行 评估。可能的选择包括结合医疗领域知识进行微调（fine- tuning）的版本，确保更符合临床实际。 3. 模型训练与优化：在选择模型后，通过对特定医疗文本的训 练，进一步提升模型的生成效果。此过程可能包括选用特定的 优化算法、调整学习率，以及利用结合现有病历数据集进行迁 升初步诊断的准 确性。 为了实现上述功能，AI 大模型通常由几个关键组成部分构成， 包括但不限于：  数据预处理：对病历数据进行清洗和结构化；  模型训练：在大规模标注数据上进行训练，微调模型以适应中 医病历的特点；  模型评估与优化：通过交叉验证和反馈机制，不断优化模型性 能；  推理与生成：利用训练好的模型进行实时病历生成，并根据医 务人员反馈进行调整。 模型的构 通过对海量历史病历数据的学习，能够实现更准确的疾病识别和状 态评估，并提供基于证据的诊疗建议。 具体技术趋势如下：  预训练模型的普及：如 GPT、BERT 等模型通过在大规模语料 库上进行预训练，然后在特定医疗领域进行微调，使得模型能 够更好地理解和生成专业的医疗语言。  迁移学习的应用：迁移学习技术使得已经在其他领域训练好的 模型能够迅速适应医疗领域，通过少量数据就能实现较好的性 能，极大地降低了模型训练的成本与时间。