实时风控弹性架构： 全场景解决方案 智策平台 模型编排 实时计算平台 (Flink) 业务 系统 外部数据平台 指标引擎 规则引擎 实时风控 实时特征 工程 模型引擎 离线特征工程 机器学习平台 数据服务平台 离线数仓 模型训练 模型推理 指标 API 数据 API 数据湖 #1 #2 #3 #4 建设背景 预警 通知 加强验证 数据 交易请求 业务场景：反欺诈 可 信 可 疑 高 危 机器 / 深度学 习 模型 营销模型 申请模型 交易模型 智策平台 机器学习平台 离线特征工程 离线数仓 (GaussDB) 数据服务平台 外部指标缓存 （ HBase ） 零售电子 渠道整合 系统 技术架构：反欺诈 数据湖 (Hudi 、 Iceberg) 实时计算平台 发卡 授信发放 行为评分 (B 卡 ) 催收评分 (C 卡 ) 申请评分 (A 卡 ) 实时信贷指 标 离线信贷 数据 贷中 贷后 逾期应对模型 交易行为指标 临期 / 逾期指 标 额度调整 预警管理 离线数 据 外部数据 贷前 机器学习平台 离线特征工程 贷中 / 贷后指标 （ HBase ） 机器学习模型 调用 技术架构：授信 数据湖 (Hudi 、

天内完成，需要 1558 颗 A100。内存角度， GPT-3 训练至少需要 3.2T 内存，至少 44 张 A100，推理任务则主要受显存限 制，需要 4 至 8 张 A100，因此完整的模型无法在终端上离线运行。 优化后大模型可在旗舰机型芯片上运行，AI 落地有望推动新一轮换机潮。 AI 部署本地化具有必要性，优势包括更低的延迟、更小的带宽、提高数据安 全、保护数据隐私、高可靠性等。完整的大模型仅参数权重就占满一张 为众多复杂 AI 模型的控制中心，同时也是接受用户指令的交互窗口，实现 《钢铁侠》电影中“贾维斯”式综合智能管家。23 年 5 月，Google 推出 PaLM 2 轻量版 Gecko，其可在最新的旗舰机型上离线运行。同月，OpenAI 首次推 出 ChatGPT 移动端应用，各家大厂正式进入 AI 模型移动端创新、竞争时期。 智能音箱、全屋智能中控屏、手机、MR 等均有望成为这一时代的交互入口。 产业链 信息，而无需将其暴露给人类， 大大增加了任何需要分析外貌、声音、医学图像或任何其他个人信息的隐私安全。 即使部分数据是出于培训目的而上传，也可以将其匿名化以保护用户身份。 5）高可靠性：去中心化和离线功能使边缘 AI 更加稳定，不受网络访问限制，这 是关键任务系统稳定运行的必要条件。 当边缘 AI 应用程序遇到它无法准确处理的数据时，它通常会将其上传到云端，以 便 AI 算法可以重新训练并从中

边缘算力服务 边缘云 基础设施底座 计算 边缘安全 边缘计算节点 加速 应用 边缘实例 (CPU/GPU/ARM ) 边缘渲染 边缘智能 AI 推理 规则引擎 离线渲染 实时渲染 数字证书 WAAP SASE 数据管理 边缘应用 服务 云边管理 边缘计算节点 镜像 构建机 边缘智能 AI 推理 规则引擎 边缘渲染 离线渲染 实时渲染 智慧园区 影视动漫 AR/VR 视频上云 数字孪生 云游戏 实时音视频 视频直播 游戏加速 任务管理 智能调度 云边通道 集群管理 业务告警 源站告警 水位告警 用量告警 HTTP2 QUIC 双栈加速 HTTPS 基础 服务 基础 底座 用户 体验 产品 能力 基础 平台 性 能 优 化 实时渲染 离线渲染 智能调度 任务管理 主流三维制作软件和渲染器 稳定、高速的文件传输协议 实时通讯网络 高性能边缘硬件 (X86 、 NVMe 、 100G/25G 智能网卡、 GPU ) 全国覆盖的边缘节点

管理—工业互联网平台深度赋能 实时数据 离线数据 • Modbus 协议 • JT/T808 协议 • MQTT 协议 • 提供其他协议转 MQTT 协议的 SDK • CSV 格式 • XLS 格式 • XLSX 格式 • 用户可自定义表头（需提供对应文档） 丰富数据接口 系统通过对大量数据接口及文件 格式的兼容，可链接多种实时、离线 数据，从而满足故障诊断客户初次加 动、温度、流量、压力等。 用户数据 数据预处理 特征探索 机器学习建模 模型评估 批量 / 实时诊断 数据预处理 历史数据 实时数据 特征提取 大数据分析 样本库构建 模型训练 分类 / 预 测 离线 在线 振动信号 转速信号 温度信号 载荷信号 石化装备 AI 管理—主要功能组件 配置接口 拖拽算法模型 自定义诊断规则 灵活数据展示 定制化业务 可配置诊断规则 灵活展示组件 定制化业务逻辑

DRAM，显著加速 QPS（每秒 查询数）和响应时间，降低访问延迟。比起“小 L� + 多核”的设计，至强 ® 6 的“大 L� + 强核”架 构，能显著降低 P�� 查询延迟，稳定服务体验。 2、离线数据处理业务 针对离线数据处理业务的高吞吐计算能力、海量存储弹性扩展、高效数据传输、低延迟网络以及高容 错与数据可靠性保障等要求，ECS g�i 支持弹性临时盘和高性能存储解决方案，在本地 Shuffle 测试 微秒，可实现大规模 组网及高弹性等优势，这有助于提升离线数据处理的 I/O 带宽和效率。 高性能存储：ECS g�i 支持存算分离架构，用户可以根据业务需求灵活配置计算和存储资源。 例如在构建数据存储方案时，可以根据冷热数据的不同需求，将数据存储在 OSS（对象存储服 �� 务）中，并通过 EED（临时缓存盘）提供高性能的临时存储服务。这种架构有助于提升离线数据 处理的灵活性和效率。 内存通道升级：至强 内存通道升级：至强 ®6 性能核处理器内存通道从 8 通道升级到 12 通道，能够输出更大的内 存带宽和更高的数据传输速率，有助于进一步提升数据预处理任务的效率和体验，特别是对于 需要处理大量数据的离线任务来说至关重要。 3、游戏 / 量化交易业务 游戏和量化交易业务均对实时性、计算性能与稳定性要求严苛。例如游戏后台必须持续低时延响应 玩家操作，以保障足够流畅的体验，同时，高帧率渲染和复杂环境模拟对后台的计算资源需求极大。

策略控制器 知识引擎 实践案例 - 算法实践： xx 云基于大模型 Prompt 引擎实 现本地 API 联通的定制化告警分析设备 现网设备日志 根据现网数据库分析告警事件， 结合离线知识库进行业务问答。 离线知识库 现网数据库 大模型盘古 任意大模型 开源大模型 前端效果信息 动态控件请求 参数缺失 / 有 误 实践案例 - 服务实践： Prompt 引擎服务设计 架构 对话上下文 展示答案 参数提取 检查改正 ⼊参检查 需要调用 API 指令微调 预训练 答案准确 DPO PART 04 大模型知识迁移打造运维专精模型： 工业场景需要增强可离线部署的小型 LLM 的日志分析能力，以更好地理解 Prompt • Although Vicuna has only 13B parameters, when equipped

以满足结构化、非结构化、多媒体类型数据存储及计算物理空间需求。 2.3.1.3 计算节点规划 根据需要分析的数据量引用支撑引擎，对业务应用的功能进行基础能力支 撑，通过新增大数据计算存储节点以扩充系统实时计算、离线计算、分布式计 算能力，满足针对各类应用的并发用户数、响应时间、计算速度等性能指标， 在项目建设完成后保证后期能够有对更多用户的支撑能力。 2.3.1.4 支撑组件规划 根据业务应用需求，重 业务应用系统 可以通过业务应用系统操作和管理数据，人员数据、社会企业数据、并在 应用系统中对人员关系进行挖掘分析，实现重点人员关系分析应用、虚实关联 分析应用等应用。另一方面，通过构建 GIS 离线地图服务，构建人员在地图上 的定位、轨迹等应用，通过大数据系统的对比分析结果，利用短信接口或警务 通完成预警和报警的推送通知，业务应用系统还包含对分级权限和登录账号权 限的管理，实现对区分局、 大数据基础平台基于大数据处理技术构建，提供海量数据的存储、分析和 实时查询服务。大数据处理技术保证了数据的分布式存储、数据的并行处理和 数据的可靠性，实现对 PB 级结构化和非结构化数据的实时计算和离线计算处 理能力，实现多计算存储节点的管理能力，满足 XX 市禁毒应用需求，同时保 证系统具有高容错性和可扩展性。 采用 Cloudera 作为大数据基础平台。Cloudera 是全球 70%的

• 发现应用配置缺陷导致的安全问题 • 快速发现系统和应用的新型漏洞 • 智能化的弱口令检测，支持多种应用 • 发现运维人员的违规操作 合规性监测 •IP 资源被占用监测 • 重要 IP 资源离线监测 • 禁用软件监测 禁用硬件监测 • • 禁用端口监测 禁用服务监测 • 漏洞修复 • 数据指标丰富、质量高，可视 化，提供个性化定制服务，完美 匹配用户的实际使用场景 • 深度发现和分析零日漏洞（ 0DAY ）、恶意代码、黑客控制及渗透行为等已知、未知攻击及控制行为。 主机控制检测 网站控制检测 异常通信检测 隐蔽信道检测 DGA 域名检测 实时流量采集 离线流量重放 支持 70+ 种文件还原 自定义文件格式还原 WEB 攻击检测 远程漏洞攻击检测 邮件攻击检测 挂马攻击检测 恶意文件检测 Kill Chain 分析 ATT&CK 技术点分析

，采用 RoCE 全 连接无损组网，充分发挥智算并行计算优势，同时组网整体无容灾设计，对运维工作带来新的挑战。 第 8 页 CONTENTS 2 4 3 l 聚焦大模型推理、 离线渲染、 生成 式 AI 开发、边缘计算协同四大核心 业务 ，满足人工智能项目开发全流 程算力需求 l 争取项目成果入选省级算力枢纽示 范案例 ，带动 “数据中心 ，实现端到端延 迟≤ 50μs ，保障集群大规模数据同 步效率； l 可靠性：全链路冗余设计（网络、 供电、散热） ，达成系统年非计划 停机时间≤ 4 小时目标 离线渲染 + 模型服务 + 算力租赁 l 采用 “计算 - 网络 - 管理 - 安全” 协同架构 ，各层深度联 动 ，为业务稳定运行提供支撑； l 分层协同 ： Spine 层与业务 ，标准化设备减少 维 护与替换成本 ，利用西部低电价 (0.35 元 / 度 ) 降低运营成本， 5 年 TCO 降低 22% 。 算力业务：可稳定支撑千亿参数大模型训练、支持 100+4K 影视级离线渲染项目 并 行渲染、生成式 AI 实时推理等业务。 通过消费级 GPU 堆叠实现千亿级参数模型训练与中大规模渲染任务， 同时利用西部低电 价 降低运营成本 技术优势 成本优化 业务支撑

程需要同时实现一个扩展库的接口，定义新的 nGraph 的 操作和实现一个执行计算的 Kernel 函数。更多信息可参考 OpenVINO ™ 工具套件相关文档 20。 能有着较高要求。而非实时离线识别一般是对较长的录音文件 进行识别，典型应用如会议录音文本化存档，对处理并发量以 及识别准确率等有着较高要求。 实时在线语音识别 在实时在线语音识别过程中，方案首先需要将不定长的语音信 理的输 入形式。再根据模型库提供的声学模型、语音模型和发音字典， 对声学特征进行解码搜索，获得对应的文本结果。 基于以上流程，思必驰方案能根据教育机构需求，既用于实时 在线识别，也用于非实时离线识别。其中，实时在线识别一般 是在会议、教学等场景的进行过程中，对语音进行随时采集、 随时识别，典型应用如会议实时字幕系统，就对系统时延等性 基于英特尔优化方案的应用案例 语音输入 识别结果 层。在定义新的操作时，需要通过继承 ngraph::op::Op 基类 实现，示例代码如下： 在应用程序中，可通过类似于下面的示例代码，将扩展动态库 提供推理引擎： 非实时离线语音识别 面向大音频文件的离线语音识别一般对识别实时率不敏感，但 对识别准确率要求较高。因此在系统设计时通常采用在云端 / 数据中心进行识别。 63 62 实 战 篇 实 战 篇 英 特 尔 中 国 教