预训练大模型与医疗：从算法研究到应用 1. 预训练大模型概述 2. 理解大模型的内在机理 3. 赋予模型精准性与可解释性 4. 医疗领域应用 5. 清华探索：数基生命 CHIMA 20Pag2 Tsinghua Confidential | lvhairong@tsinghua.edu.cn CONTENTS 预训练：从大数据到小数据 ③ 精 准 可 解 释 ④ 医 疗 应 用 et al. "Knowledge neurons in pretrained transformers." arXiv preprint arXiv:2104.08696 (2021). 白箱算法的可解释性与模型构造本身高度相关， 因此对于大模型可以根据相关思路设计更具有 针对性的可解释性方法。 主流的模型相关可解释性方法： • 基于梯度显著性 [1] • 基于因果启发 [2] • language models." arXiv preprint arXiv:2302.07257 (2023). 背景 用于医学图像的计算机辅助诊断 (CAD) 网络通过 使 用先进的深度学习算法来支持临床决策，在医学 领 域取得了重大成功。大型语言模型 (LLM) 最近 展示 了在临床应用中的潜力，其提供了宝贵的医学 知识 和建议。 挑战： LLM 目前难以从这些医学图像中解释和提 取

未解决 4 我们如何做智能客服？ 2019 KE.COM ALL COPYRIGHTS RESERVED 组织 应用 挖掘 算法 知识 生产 5 2019 KE.COM ALL COPYRIGHTS RESERVED 组织 应用 挖掘 算法 知识 生产 6 问题挖掘 知 识 管 理 系 统 客服工单 政策法规 职能部门 知识库 知识图谱 知识生产流程 KE.COM ALL COPYRIGHTS RESERVED 组织 应用 挖掘 算法 知识 生产 12 知识的组织 2019 KE.COM ALL COPYRIGHTS RESERVED 13 2019 KE.COM ALL COPYRIGHTS RESERVED 组织 应用 挖掘 算法 知识 生产 14 句型识别 意图识别 任务分发 COPYRIGHTS RESERVED 16 改进版 fasttext fasttext NLU- 意图识 别 2019 KE.COM ALL COPYRIGHTS RESERVED svm 17 算法 准确率 召回率 F1-score svm 0.88032 0.85182 0.86583 fasttext 0.96132 +0.081 0.873 +0.02118 0.9150 +0

4.0 认知智慧城市 I 算法框架 选用开源框架在核心 技术上受到限制 集中建设智慧算力 ，汇聚数据 统一对外提供 AI 能力 ， 大步实现产业升级 ， 是最高效的 方式 背景介绍｜制约 AI+ 智慧城市发展的问 题 计算能力 场景驱动 限制城市发展人工智能技术水平的四大因素 数据资源缺乏有效分析 有效数据获取率低下 应用场景单一 新算法迭代更新慢 AI 计算能力不 足 系统集成公司可以在 平台上整合多家算法 厂商的算法（包括的 算法） ， 建设智能 化 项目 信息化系统业务管理公 司可以通过平台打磨智 能化的业务系统 ，进 化 自己的业务体系 软件开发公司可以通 过平台速度敏捷地开 发出智能化的应用软 件 背景介绍｜建设必要性 - 赋能企 业 中小算法厂商可以在 AI 开放平台上训练 自 己的算法 人脸识别 结构识别 姿态识别 AI 从业者 、繁荣本地 AI 生 态 语义识别 人脸属性 数据传递 人群分析 文字识别 数据存储 人证核验 行业学习 声纹识别 图像识别 · 动态可扩展 、平滑可 迁移 · 算法多选 、多模融合 · 分层解藕 、百花齐放 基础设施层 · 各尽所能 、各守本分 传感层 以分层解藕 、开放共享的原则补全现有体系 工地发生打架闹事事件 工地脏乱情况 车辆违规停车 情况

：人脸摄像机 + 车辆抓拍机 可疑人： 名单库 可疑车： 名单库 上墙管理 各社区预警 上墙显示 社区主干道出入 口 ：人脸摄像机 + 车辆抓拍机 视频结构化 算法服务器 AI 综合管理 平台 社区 GA 有效数据 本社区情况 … … 系统概念 通 过 监 控 拍 摄 ， 把 所 有 经 过 摄 像 机 底 下 的 人 、 建议用专业人脸枪 2. 车辆抓拍机 *2 支 要求： 可以利旧 ， 网络高清枪即可 3. 网络传输 要求： 可以利旧 ，或就近光纤延伸联网 社区路口的智能监控点位设计方案 视频结构化算法服务器 设备描述： 1. 算法服务器支持 8 路人脸 +8 路车辆 2. 按每个路口 2 支人脸枪 ， 2 支车辆枪计算 ，可以覆盖 6. 算法服务器支持百万级人脸库的比对 社区机房智能监控的设备方案 方案一 ：拼接屏大屏显示 方案二： 液晶电视机显示 接入监控局域网中 第三章： 技术方案 区域管控 报表查询 权限管理 账户管理 人脸算法 人形算法 车辆算法 物体算法 实时抓拍数据 视频结构化的软件架构 设备管理 流量统计数据 预警抓拍数据 系统设置 算法配置 系统布控 骑行算法 人和车的深度学习算法

形成业务数据模型供孪生工厂使用。 孪生与数字底座模型 利用数据模型建立各模型的关联关系网， 通过统一模型的统一编码识别到虚拟设备， 将物模型 / 业务模型贯通到虚拟设备 中，形成数据驱动虚拟设备的仿真可视。将算法模型 / 成本模型引入到虚拟设备， 用作孪生的仿真分析及优化。 数据模型关系图谱 孪生与数字底座 IOT ▌ 数据采集：软网关采集完数据后会将实时数据统一推送到 IOT 平台。 IOT 效率、成本在全局系统上的优化 提升；能耗、质量在局部车间内的优化提升。 工艺算法模型 能耗算法模型 三维模型 IT\OT 模型 Stage1. 历史多元算法融合 Stage2. 孪生平台算法验证 Stage3. 孪生平台算法分析 Stage4. 孪生平台算法优化 AS 算法模型 立库算法模型 质量算法模型 DT 实施六大阶段 基础建设 共生 (L5) 解决方案 算法库接口预留 IT 业务模拟数据 分析 & 可视化 虚拟场景构建 1:1 建立三维模型库 公共标准统一 数据底座搭建 孪生支撑引擎搭建 OT 模拟数据录入 计算机硬件设

应用系统功能 外网公开数据 … • 适配 • 调度 • 纳管 • 框架 • 算法 • 训练 数据集成 平台 免协交换 采集 公开数据 采集 图片表格 识别 智能填报 平台 公共数据开放平台 疫情防控 宏观经济 金融服务 财源保障 用 厅 应 网协同 一 智能 中台 市政务数据平台总体架 构 共享交换平台 AI 模型库 （感知 / 认 知） 知识图谱 平台 物联共享管理平台 视频共享管理平台 AI 算法仓 AI 平台 服务 管理 数据 来源 数据 归集 数据 交换 • 数据目 录 • 数据质 量 • 数据模 型 • 运维监 控 • 数据开 发 • 数据安 建设内容 3 ： 增强数据安全保 障 建立数据分级分类体系 ， 明确不同等级、 不同类别的数据安全管控措施。 在数据使用过程中 ，通过多种脱敏方法实现数据的静 态脱敏、 动态脱敏 ，利用加密、 解密算法 ，结合数据沙箱模式进一步增强数据应用过程中的保 护 能力。 在数据使用后 ，通过 安 全审计对数据使用合规性进行审计与追溯 ，综合采取多种措施增强数据安全保 障 能力 ，消除数据安全隐患。 5

注重关联关系而非因果关系 数据可视化变得尤为重要 大数据的重点是关联关系与趋势预测 大数据分析助力提升行业综合数据应用能力 大数据 关注点 传统数据 分析局限 数据获取 因子分析 算法训练 数据呈现 6 经济运行大数据保驾十四五 区域经济 2 3 4 1 支撑领导科学决策，提高经济运行管理水平： 从宏观、中观、微观三个层面，对区域经济运行相关指标进 行实时动 应用的障碍 复杂数据算法 与业务模型 衔接 诸多大数据并 行计算架构的 选择 大数据应用实 现路径： 从哪里开始？ 专业人才匮乏 17 CONTENT 1 当政务应用遇到大数据 2 退而结网，打造大数据湖泊 3 大数据平台、架构与实现 4 大数据可视化，看得见的数据 18 软件兼容基础架构 数据 采集层 物理 存储层 逻辑 存储层 并行 计算层 算法层 挖掘 分析层 任 务 调 度 Elastic Logstash 数据仓库 数据集市 多维数据库存储 数据标签库 模型设计 模型训练 模型发布 模型管理 应用模型 算法模型 接口整合（ thrift ） Smart BI / 并行基础架构 / 算法 / 业务场景 Data Service / DaaS IDC / 数据来源 / 数据存储 / 数据治理 / 服务器 19 Data Discovery

无论是多传感器融合派厂商，还是视觉派厂商，都大量使用智能化传感器，他们是实现 NOA 的必要条件。 要实现 NOA 对智能传感器硬件要求很 高 特斯拉 Model 3 小鹏 G9 厂商要搭建起高效的算法模型 ，开发的系统既要能精准识别并处理各传感器获得的数据 ，还要能有效应对 模 型未考虑到的长尾问题。这大大增加了系统所需数据量 ，增加了开发难度。 特斯拉的 NOA 系统不仅能规划车辆行进路线等， 测 / 规划 / 控制相关代码量， 分别是其高速 NGP 是 6 倍、 4 倍 和 88 倍。 软件在 NOA 系统中起决定性作用 要实现 NOA 还需要高水平算法的支 持 2021 年 ，特斯拉在其 AI Day 上宣布将基于 BEV+Tf 架构开发其新版的完全自动驾驶系统（ FSD ） ，并于 当年开 始重新编写底层代码 ，成为在汽车业第一个使用 AI 上图感知结果进行融合 后的效果。 特斯拉率先在汽车业应用 AI 大模 型 上图：摄像头获得的车 辆左、 中、右三方的 感 知结果 （即路况） 。 资料来源：特斯拉 2021AI Day 传统算法将自动驾驶系统划分为感知、规划、控制等 3 大块 ，每个部分又可细分为不同的模块和子模块。每 个 模块各司其职 ，有着独立且明确的目标。 规划模块的作用主要是根据车辆实 际行驶时面临的实时交通环境，

无论是多传感器融合派厂商，还是视觉派厂商，都大量使用智能化传感器，他们是实现 NOA 的必要条件。 要实现 NOA 对智能传感器硬件要求很 高 特斯拉 Model 3 小鹏 G9 厂商要搭建起高效的算法模型 ，开发的系统既要能精准识别并处理各传感器获得的数据 ，还要能有效应对模 型未考虑到的长尾问题。这大大增加了系统所需数据量 ，增加了开发难度。 软件在 NOA 等行为。 小鹏汽车开发的城市 NGP 的代码量 、 感知模型数量、 预 测 / 规划 / 控制相关代码量 ，分别是其高速 NGP 是 6 倍、 4 倍 和 88 倍。 要实现 NOA 还需要高水平算法的支 持 上图：摄像头获得的车 辆左、 中、右三方的感 知结果（即路况）。 下图： BEV+Tf 架构下， 特斯拉自动驾驶软件对 上图感知结果进行融合 后的效果。 新架构下特斯拉自动驾驶软件的融合效果 特斯拉率先在汽车业应用 AI 大模 型 传统算法将自动驾驶系统划分为感知、规划、控制等 3 大块 ，每个部分又可细分为不同的模块和子模块。每个 模块各司其职 ，有着独立且明确的目标。 传统的自动驾驶算法框架 传统的自动驾驶算法是基于规则开发的 规划模块的作用主要是根据车辆实 际行驶时面临的实时交通环境

处 理 存 储 采 集 HDFS 2 Par t 其他 数据 库 关系 型数 据库 内存 数据 库 Hive Hbase 模型算法库 可视化建模 数据迁移 数据分析 数据处 理 机器学习 产品定位 随着大数据时代的不断发展， 各大企业、政府纷纷建立大数据中心，数据分析 、应 用 的脚步越来越快，在此过程中，异 构数据源的使用 型数 据库 内存 数据 库 Hive Hbase 模型算法库 可视化建模 数据迁移 数据分析 数据处 理 机器学习 复杂任务简单化 产品具有多任务关联功能，对于复杂任务，可拆分多 个子任务后关联，用 户管理 子任务，大大降低复杂度。 更可建立公共子任务，减少重复工作量，提高效率 任务定时 对于业务算法要求每天定时执行，或者在每天 晚上凌晨空闲时执行，产品提供各类型定时功 处 理 存 储 采 集 HDFS 2 Par t 其他 数据 库 关系 型数 据库 内存 数据 库 Hive Hbase 模型算法库 可视化建模 数据迁移 数据分析 数据处 理 机器学习 l 实现异构数据交换的快速 通道 l 组件式拖拽实现数据 ETL l 便于用 户查 询及关联分析 不同数据源的数据 l 实现数据迁移