07 解码DeepSeek,) 构建医药⾏业新质⽣产⼒ 腾讯健康 李慧 ⽬录 • 从DeepSeek看⼈⼯智能发展趋势 • ⼤模型及DeepSeek潜在应⽤场景探索 从DeepSeek看⼈⼯智能发展趋势 AI离我们越来越近，越来越密集的“加速”信号 4 “AI”概念⾯世 1950s 2012 CNN,$⼈脸识别 Alpha, ⼤战李世⽯ 2017 2022 Chatgpt

以遵循英特尔® OPS-C 规范的嵌入式教学一体机设备为例， 如图 2-2-9 所示，其一方面可以选配英特尔® 酷睿™ 处理器等 算力平台来形成强大的计算处理能力、优异的图形处理能力 以及强有力的视频编解码性能，并通过与英特尔® VPU 产品 的结合，借助 OpenVINO ™ 工具套件提供的人工智能性能加 速，使教育机构在狭小的嵌入式设备中也能部署高效的边缘 人工智能处理能力。 另一方面，借助英特尔® 优先级加载模式，其可以同时被指向加载 VPU 2 和 VPU 1， 且 VPU 2 优先级高于 VPU 1。 • 在推理运行阶段，系统可以通过分线程处理的方式来提升 效率。其中线程 1 用于视频的解码且缓存到 Buffer 1 中。 线程 2 则从 Buffer 1 中取数据，使用 VPU 1 进行人头检 测，返回检测结果给 CPU，然后基于 CPU 执行跟踪网络 1 和跟踪网络 2 两个模型，并将结果缓存到 为例，可以通过如下代码进行网络初 始化： 模型加载阶段 VPU1 VPU1 VPU2/VPU1 VPU2/VPU1 CPU 运行阶段 线 程 1 人头 检测 人头 检测 视 频 解码下一帧 缓存到 Buffer1 Buffer1 Buffer2 缓存到 Buffer2 跟踪 网络1 跟踪 网络1 跟踪 网络2 跟踪 网络2 行为 检测 行为 检测 行为 验证

Trans- former 体素编码器得到体素特征, 而自然语言则通 过 CLIP 的语言编码器转化为语言特征, 随后体素 特征一起输入至 Perceiver Transformer, 最后输出 序列经过解码器处理, 恢复到原始体素网格的维度, 并用于预测离散化的行动动作. 通过对场景进行三 维体素化, 并使用编码器进行场景、语言的特征提 取, PerAct 能够有效地对环境进行建模, 获取全局 感受野 对机器人任务进行规范的方法, 随后 Affordan- ceLLM[94] 将大模型的世界知识与 3D 几何信息相结 合, 通过视觉语言模型 (Vision language model, VLM) 骨干扩展了一个掩码解码器和一个特殊特 征, 用于预测可操作性图. 实验证明, 该方法能够综 合理解场景的多个方面, 包括物体及其部分的检测、 定位和识别、场景的地理空间布局、3D 形状和物理 特性, 以及物体与人类潜在的交互功能 框架使用大语言模型进行高层次任务规划, 从多种 机器人技能组成的技能库中选择合适的技能, 并使 用几何可行性规划器优化技能序列参数, 解决动作 间的几何协调问题, 从而提高任务成功率. PaLM-E[73] 是一个仅有解码器 (decoder-only) 的多模态语言模型, 能够结合视觉、语言和机器人 传感器数据, 自回归地生成文本, 这个生成的文本 可以是回答问题的答案, 或者是以文本形式产生的 由机器人执行的决策序列

：我该怎么告诉妈妈？ • R ：快去给她个惊喜 • M ：我考试得了满分 • R ：太棒了 • M ：我该怎么告诉妈妈？ • R ：快去给她个惊喜 回复质量上存在的挑战 23 优化初始的解码过程 • 动机：解码的第一个输出对后面的整句起决定性作 用 Qingfu Zhu, Weinan Zhang, Ting Liu. Learning to Start for Sequence to Sequence 短语替换模 型 规则学习 对抗学习 风格化生成技术 对抗生成模型 编码解码模型 Prabhumoye et al. (2018) ACL Li et al. (2018) NAACL Fu et al. (2018) AAAI 风格化回复： 一个初步的尝 试 •

2-2），核心组件为编码器和解码器： ⚫ 编码器：输入序列经词嵌入转换为向量，再经多层编码器处理。 每层包含自注意力结构（计算元素间相关性，捕捉全局上下文）和多 头注意力机制（并行多角度建模，增强表达能力），以及进行非线性 变换的前馈网络。 ⚫ 解码器：除自注意力、多头注意力和前馈网络外，增加了编码 第九届未来网络发展大会白皮书 算电协同技术白皮书 21 器-解码器注意力子层（建模输入与输出序列间相关性）。多层解码器 器-解码器注意力子层（建模输入与输出序列间相关性）。多层解码器 堆叠，逐步生成目标序列并参考源语言上下文。 ⚫ 处理步骤：输入编码（词嵌入）→ 编码器层（生成编码矩阵） → 解码器层（输出目标序列）。 图 2-3. Stable Diffusion 原理 Stable Diffusion 是一种先进的图像生成技术（原理见图 2-3），通 过多步骤从噪声生成高质量图像，涉及编码器、解码器、学习的条件、 采样和去噪阶段： 算电协同技术白皮书 22 ⚫ VAE（变分自编码器）：由编码器（压缩图像，保留深层特征） 和解码器（恢复至像素空间）组成。 ⚫ 条件编码器（如 CLIP）：提供图文语义指导。 ⚫ UNet：经典的编码器-解码器结构图像分割模型。编码器（卷 积和池化层）逐步提取特征并降维；解码器（上采样和特征融合）逐 步恢复尺寸并生成结果。在此用于实现高质量图像生成，有效融合多 级特征处理不同目标，具有强鲁棒性。

系统的架构和技术均符合高新技术的发展趋势， 在满足功能的前提下， 能够 在今后一定时间内保持系统的先进性。 ? 标准性 系统的标准化程度越高、开放性越好，则系统的生命周期越长。控制协议、 传输协议、 接口协议、 视音频编解码、 视音频文件格式等需要符合相关国家标准 或行业标准的规定。 XXXX 解决方案 第6页 设计依据 系统设计依据国家相关法律规章、 国家和行业相关标准、 相关研究成果等资 料进行规划设计，具体如下： 发 320Mbps，80Mbps 回放； ? 支持 12M/4K/6M/5M/4M/3M/1080P/1.3M/720P IPC 分辨率接入； ? 支持 5×4K/20×1080P/40×720P解码，最大支持 16 路视频回放； ? 支持 2 路 VGA输出， 3 路 HDMI 输出，支持 VGA 1和 HDMI 1 同源输出 /VGA 2 和 HDMI 2 同源输出， HDMI 三异源独立 兼容多品牌监控设备、智能家居、 LED 控制器、道闸及巡更设备； 高融合性 ? 多业务融合，跨系统联动，方便快捷联动预案设置； ? 报警联动包括对讲室内终端信息通知、 启动录像、抓拍图片、 解码上 墙、信息大屏显示、小区广播通知、门禁联动、电子地图显示等； ? 视频联动包括车牌识别道闸联动，视频检测报警联动等； ? 对讲联动包括对讲呼梯联动，对讲视频监控联动等； ? 可扩展性 ?

渲染成最终的画面，并进行视频的压缩流化后，发送到终端播放显示。视频流引擎支持视频编码能力、视频解码 播放能力、云手机图像截屏能力、触控和音频抓取 / 播放能力等核心功能，客户可以基于这些引擎进行二次开发， 实现在移动终端上进行操控应用和游戏等操作。云端采用专业显卡进行渲染，可以获取高画质的业务体验；对终 端的要求极低，只要求有视频解码能力即可；提供统一 API，降低二次开发难度，易集成。 指令流引擎 指令 CRC32C 算法，具体介绍如下： » EC 算法 适用于块存储或对象存储场景，支持 K+1、K+2、K+3、K+4（2≤K≤25）和 28+3 配比，其他配比暂不支持，其 采用向量化 EC 编解码方案，以低阶二元 XOR 操作替代传统标量编码的高阶有限域乘法，配合编码调度，复用 中间计算结果减少操作数，与主流开源算法相比，EC 算法编码性能提升 1 倍以上。 » CRC16 T10DIF DPDK 用户态网络驱动 KAIL DNN EXT 深度神经网络算子扩展库 KML_BLAS 线性代数 KSL_ASN1 编解码库 KML_LAPACK 线性代数运算 AVX2KI 异构生态迁移 Snappy 指令加速 x264 H.264 视频编解码 ISA-L 存储加速库 KML_SPBLAS 稀疏矩阵 KML_SOLVER 求解器 HTL 轻量级线程库 LZ4

编码前，需要运用降噪、画质增强等 AI 预处理技术对原始视频进行优化，这需要强大的算力支 持，用以在压缩过程中保障画质。 高弹性资源适配：应对算力密集型业务潮汐波动 作为算力密集型服务，编解码业务面临显著的流量潮汐特征，需构建可快速扩缩容的海量算力 池，实现资源供给与业务需求的动态匹配。 成本优化诉求：平衡算法迭代与资源效率的双重目标 在支撑算法引擎持续迭代与应对业务流量波动的过程中，需通过弹性资源调度机制优化算力成 本，避免资源闲置损耗，实现技术投入与运营效率的平衡。 解决方案： 高性能算力底座：ECS g�i 为视频编码前的 AI 预处理提供了有力保障，确保降噪、画质增强等 操作能够快速、精准执行，充分释放解码引擎的技术潜能。 全球化算力网络，多地域部署灵活覆盖：依托阿里云在国内和国际核心地域的完善基础设施， 微帧科技得以构建大规模算力服务网络，支持业务就近部署，确保为用户提供低延迟、高可用的 优质算力供给。 资源的 “即开即用、动态弹性”，使业务能够灵活、高性价比地应对业务潮汐需求。 �� 客户价值： 编解码效率提升：ECS g�i 为微帧科技的 WZ���/��� 及 AV� 编码效率带来了突破性提升。其中， AV� 推理耗时优化超 50%，4K 处理效率提升 35%，显著提高了视频编解码的处理速度和质量。 业务全面加速：依托阿里云国内核心地域及基础设施，构建就近接入网络，为业务提供低延迟

几乎全部大语言模型都是基于 Transformer 结构 的。 2 、 Transformer 结 构 类任务中取得突破性进展。 基于 Transformer 的编码器和解码器结 构 如图所示 • 左侧和右侧分别对应着编码器（ Encoder ） 和 解码器（ Decoder ）结构， 它们均由若 干个基 本的 Transformer 块（ Block ）组成 （对应图 中的灰色框） • 每个

.................................................................................132 3.7.2.8 云台（内置解码器）...................................................................................134 3.7.2.9 支架 3.5.3.3 安防系统结构 保护区系统结构如下示意图: CVBS 交换机 图注： 光纤 以太网 网络 摄像机 高清 网络快球 网络红外 摄像机 HDMI DVI 电视墙 解码器 交换机 监控中心 光端机 管理 PC 控制键盘 前端 模拟摄像机 网络快球 音频/ 信号量线 报警 探测器 报警主机 WEB服务器 磁盘阵列 电视墙 服务器 控制键盘 远程访 问、视频流接收、数字视频的解码显示和大屏幕视频显示控制等功 能。 显示控制子系统包括 LCD 监视器和 DID 液晶拼接屏。根据实际 91 自然资源保护区大数据信息化管理平台建设方案 工程实施经验，建议控制台到电视墙的观看距离不小于 3 米。同时， 为了方便安装维护，后面至少需要保留 80 厘米净空间。 一、视频综合平台解码部分 解码子系统的主要是将前端网络视频监控信号还原成高清数字