预训练大模型与医疗：从算法研究到应用 1. 预训练大模型概述 2. 理解大模型的内在机理 3. 赋予模型精准性与可解释性 4. 医疗领域应用 5. 清华探索：数基生命 CHIMA 20Pag2 Tsinghua Confidential | lvhairong@tsinghua.edu.cn CONTENTS 预训练：从大数据到小数据 ③ 精 准 可 解 释 ④ 医 疗 应 用 用 ② 剖 析 大 模 型 ① 关 于 预 训 练 预训练大模型 （学习共性） 大数据（低成本无标注） 少量特定领域标注数据 （成本高） 微调小模型 （学习特性） ⑤ 数 基 生 命 1.模型角度：模型参数不再是随机初始化，而是通过一些任务（如语言模型）进行预训练； 2.数据角度：将训练任务拆解成共性学习和特性学习两个步骤。 CHIMA 20Pag2 Tsinghua Confidential lvhairong@tsinghua.edu.cn 英文 英文电子病历后结构化 电子病历后结构化 电子病历 后结构化 A 不懂英文 B 懂英文 C 懂英文的医生 Transformer 架构：预训练的基 石 ③ 精 准 可 解 释 ④ 医 疗 应 用 ⑤ 数 基 生 命 ② 剖 析 大 模 型 ① 关 于 预 训 练 从 word2vec 到 Transformer 从 context-free

力+金融”加快算力在金融领域的创新应用，为金融业务发展提 供更为精准、高效的算力支持。 AI大模型智算网络技术是算力集群的重要基础底座，是新型 算力中的网络运载力，是助力大模型实现跨节点分布式训练，提 升大规模训练效率的重要支撑。 本文深入分析 AI 大模型技术在模型能力、结构、算力、效 率等方面的技术发展趋势，提出作为底座的智算网络所面临的新 问题和新挑战。围绕 AI 大模型智算网络“高性能连接、高效率 术方案。结合行业业务及技术发展方向，将金融业 AI 智算网建 设演进划分为打造底座、构建系统、完善生态 3 个阶段，并给出 了新技术发展及创新方向，为金融机构开展 AI 大模型智算网络 规划及建设提供参考。 关键词：大模型训练、智算网络、负载均衡、流控技术、拥 塞管理 IV 目 录 一、研究背景 ................................................. 1 （一）AI 大模型发展趋势及挑战 AI大模型算力变化趋势 四是模型效率持续优化。随着AI大模型的规模和复杂性增加， 训练效率面临严峻挑战。业界通过并行通信算法优化、模型算法 优化、混合精度训练优化等技术在训练框架层、通信算法层持续 提升AI模型训练的效率。随着技术的不断进步，未来必定会有更 多高效训练AI模型的方法出现。 AI大模型持续加速演进，其庞大的训练任务需要大量服务器 节点通过高速网络互联组成AI算力集群协同完成。但AI算力集群

Big-data Driven ，模型基于大规模语料训练而成； Multi-tasks Adaptive ，支持多种任务 ，包括自然 语言生成 NLG 和自然语言理解 NLU 类的任务； AI 大模型就是预训练语言模型 通过在大规模宽泛的数据上进行训练后能适应一系列下游任务的模 型 产业研究 战略规划 技术咨询 将模型在下游各种自然语言处理任 务上的小规模有标注数据进行微调 得到适配模型 预训练语言模型 从海量数据中自动学习知识 将模型在大规模无标注数据上进 行自监督训练得到预训练模型 不同特定任务 有标注训练数 据 模型预训练 模型微调 最终模型 ⼤规模⽆标注 ⽂本数据 预训练语⾔模型“预训练 + 微调”技术范 式 预 训 练 测试数据 微 调 2012 (Google. 引用 78550) Attention ( 图灵奖得主 Bengio) Model ERNIE( 百度 ) CPM( 智源 ) GLM( 洁华 ) 预训练模型 大模型 Transformer( Google. 引用 91332) Foundation 计 算 机 视 觉 AlexNet ( 图灵奖得主 Hinton) CAN (Gioodfellow

......81 4.3 模型训练与验证.......................................................................................................................................................83 4.3.1 训练数据集构建........... ........................................................................................100 5.3.1 训练过程监控............................................................................................... 决策， 如最佳种植时间、病虫害防治措施等。 为实现这些目标，项目将首先收集和整理大量的历史农业生产 数据，包括气象数据、土壤数据、作物生长数据等。随后，利用 DeepSeek 大模型进行初步训练，再根据具体农业场景进行微调， 以确保模型的准确性和实用性。此外，项目还将开发用户友好的界 面，使农民能够轻松访问和使用系统提供的分析结果和建议。 通过这一系列措施，本项目有望显著提升农业生产的科技水

强化学习，环境交互，自我进化 4 、集群智能：持续研究，给道路 3 以启发 • 生命智能，混沌理论：细胞、生态、鸟群 n 两个阶段：特定任务到泛化任务 • 弱人工智能：可以完成训练过的特定的智能任务，特定 • 强人工智能：可以完成没有训练过的新智能任务，通用 n 三个能力 • 感知智能：知识表达 • 认知智能：知识处理 • 行动智能：环境交互 对 AI 技术的认知：通向 AGI 之 数字员工和人类员工共同工作 3. 以 AI Agent 为主、人工为辅 02 对 AI 教育的思考： AI 重塑就业岗位和组织 结构 n 人工智能专业 n 大专：编程基础 | 数据处理 | 模型训练 | 算法应用 | 工具使用 本科：基础知识掌握 | 编程能力 | 算法理解 | 实践应用 | 跨学科意 识 硕士：专业深化 | 研究方法 | 创新能力 | 工程实践 | 领域专精 博士：原创研究 思维能力：批判思维、独立思维、逻辑思维 2. 学习能力：终身学习，善用 AI 3. 热爱人类 n 如何培养人 1. 赋能：个性化学习，学本教育，因人育材，未来学校 学习的定位是一种思维训练，知识、写作、记忆力等只 是训练工具 终身学习的方式可能从知识搜索转向了古老的对话式学 习 2. 让人学会与 AI 共舞，尤其是生成式 AI 将成为人的必备技能 02 对 AI 教育的思考：如何培养 AI

数据存储........................................................................................25 2.3 模型训练层..............................................................................................27 2 .......................................29 2.3.2 训练流程设计................................................................................31 2.3.3 分布式训练.................................................. 为了更好地明确方案的实现路径，以下列出了主要的技术指标 和预期成果： * 数据整合效率：实现 90%以上跨部门数据资源的实时共享与 调用，处理延迟不超过 1 秒。 * 模型训练与推理能力：支持每天 10TB 级别的数据训练任务，推 理速度达到毫秒级响应。 * 系统可用性：确保 99.99%的系统全年无故障运行时间，保障关 键业务连续性。 * 安全性：实现全链路数据加密和访问控制，符合国际及国家信息

万人，而持证养老护理员仅 50 万人，养老员护理供给 缺口高达 550 万人，叠加护理员“高龄化”、30-50 岁年龄段结构性断 档等问题，让传统人力养老模式难以承载日益增长的照护需求。在此 背景下，可提供康复训练、日常护理、情感陪伴等全场景服务的养老 机器人，成为弥补人力缺口、优化养老质量的关键抓手，有望缓解养 老服务供需失衡的困境。2025 年，我国牵头制定的 IEC63310《互联 家庭环境下使用 智能养老机器人是面向老年人的智能服务设备，通过技术手段弥 补人力照护的缺口，并为老年人提供生活辅助、健康监护、康复训练、 情感陪伴等服务，以此提升老年人的生活质量。 从功能维度看，智能养老机器人涵盖多方面服务。生活辅助类设 备如智能轮椅、外骨骼机器人等，依托人体工学设计与步态训练算法， 能辅助老年人完成行走、站立等日常活动；健康监测领域，可穿戴设 备可实时监测心率、血压等生理参数，还能联动医疗机构开展健康预 ·深企投产业研究 2025 年行业研究报告· 3 表 2 三种类型养老机器人对比 维度 ​ 康复机器人​ ​ 护理机器人​ ​ 陪伴机器人 核心 功能 辅 助肢 体 功 能恢 复 （如步态训练、肌力 增强） 日常起居协助（如翻 身、清洁、排泄护理） 情感支持与社交互动 （聊天解闷、娱乐陪 伴） 目标 人群 术后患者（脑卒中、 脊髓损伤）、神经系统 疾病患者 失能/半失能老人、长

..........................................................................................60 5. 模型训练与优化................................................................................................ .68 5.2 训练过程......................................................................................................................................................................70 5.2.1 训练数据集构建.... ....................................................................................194 13.2.2 模型再训练...................................................................................................

研合作和创新的全面智算服务体系。 统一 运维 集成统一的运维管理体系 ，实现对硬 件资源、 计算平台、 软件应用及 AI 大 模型服务的高效监控、 自动化运 维 统一 服务 建立人工智能训练等科研及教学专用 平台 ， 为科研人员及学生、 教师提 供 高效、 便捷的科研工具和环境 智算基础设施（计算、 网络、存储、配套） 优化校内资源配置 ，提升智算服务的内 部 效率与满意度 ，促进教学科研活动的顺 基于“开放标准、集约高效、 自主可控”的设计 原则 ，对硬件、平台、应用多厂商兼容适配 ，支 持国产化 多场景适配 训练 - 部署 - 推理一站式服务 ，可用于监视、侦察、 威胁评估、网络安全、情报分析、教育和训练等 场景 高效可靠的 AI 算力 资源按需分配 ，提升资源利用效率 推理服务可下沉边端 ，适应军事场景需求 教务、 教务、 教 学 、 教 研 、 教 管 、 教服、 校 园 、 宿 舍 、 食 堂 异构算力适配 模型管理 模型训练 模型开发 算法引擎 服务管理 服务发布 预置能力 固件管理 智能 开放 OP YTr orch 便捷 公共 算力 架构分层解耦 ，硬件、平台、应用多品牌兼容扩

.5 （二）日韩加速布局智算基础设施，力争缩小与全球头部梯队的差距。 .......6 （三）我国从应用牵引和普惠服务发力，全面推动智算产业高质量发展。 ..7 2、智算需求持续高涨，核心驱动力由“训练”转向“推理”............................................................8 3、AI 应用加速规模落地，带动智算产业发展向深向实.... ...........20 2、我国万卡级集群初具规模，海外加快十万卡级规模集群部署.........................................21 （一）万卡级集群成大模型训练标配，我国万卡集群的国产化比例超半数。......21 （二）海外加快十万/百万卡集群演进，跨地域的多节点协同部署成为新方向。21 3、AIDC 基础设施持续升级，绿色化转型不断深化........ 恩宣布启动“投资人工智能（InvestAI）”计划，目标筹集 2000 智算产业发展研究报告（2025） 6 亿欧元用于人工智能投资，并专门设立 200 亿欧元基金用于建设 欧洲人工智能超级工厂，以训练高复杂度、超大规模的 AI 模型。 4 月 9 日，欧盟发布“人工智能大陆行动计划” [5]，战略核心是将 欧盟固有优势（如高质量人才储备和强大传统产业基础）转化为 AI 发展的关键加速器，力争成为人工智能领域的全球领导者。