Big-data Driven ，模型基于大规模语料训练而成； Multi-tasks Adaptive ，支持多种任务 ，包括自然 语言生成 NLG 和自然语言理解 NLU 类的任务； AI 大模型就是预训练语言模型 通过在大规模宽泛的数据上进行训练后能适应一系列下游任务的模 型 产业研究 战略规划 技术咨询 将模型在下游各种自然语言处理任 务上的小规模有标注数据进行微调 得到适配模型 预训练语言模型 从海量数据中自动学习知识 将模型在大规模无标注数据上进 行自监督训练得到预训练模型 不同特定任务 有标注训练数 据 模型预训练 模型微调 最终模型 ⼤规模⽆标注 ⽂本数据 预训练语⾔模型“预训练 + 微调”技术范 式 预 训 练 测试数据 微 调 2012 (Google. 引用 78550) Attention ( 图灵奖得主 Bengio) Model ERNIE( 百度 ) CPM( 智源 ) GLM( 洁华 ) 预训练模型 大模型 Transformer( Google. 引用 91332) Foundation 计 算 机 视 觉 AlexNet ( 图灵奖得主 Hinton) CAN (Gioodfellow

数据存储........................................................................................25 2.3 模型训练层..............................................................................................27 2 .......................................29 2.3.2 训练流程设计................................................................................31 2.3.3 分布式训练.................................................. 为了更好地明确方案的实现路径，以下列出了主要的技术指标 和预期成果： * 数据整合效率：实现 90%以上跨部门数据资源的实时共享与 调用，处理延迟不超过 1 秒。 * 模型训练与推理能力：支持每天 10TB 级别的数据训练任务，推 理速度达到毫秒级响应。 * 系统可用性：确保 99.99%的系统全年无故障运行时间，保障关 键业务连续性。 * 安全性：实现全链路数据加密和访问控制，符合国际及国家信息

.5 （二）日韩加速布局智算基础设施，力争缩小与全球头部梯队的差距。 .......6 （三）我国从应用牵引和普惠服务发力，全面推动智算产业高质量发展。 ..7 2、智算需求持续高涨，核心驱动力由“训练”转向“推理”............................................................8 3、AI 应用加速规模落地，带动智算产业发展向深向实.... ...........20 2、我国万卡级集群初具规模，海外加快十万卡级规模集群部署.........................................21 （一）万卡级集群成大模型训练标配，我国万卡集群的国产化比例超半数。......21 （二）海外加快十万/百万卡集群演进，跨地域的多节点协同部署成为新方向。21 3、AIDC 基础设施持续升级，绿色化转型不断深化........ 恩宣布启动“投资人工智能（InvestAI）”计划，目标筹集 2000 智算产业发展研究报告（2025） 6 亿欧元用于人工智能投资，并专门设立 200 亿欧元基金用于建设 欧洲人工智能超级工厂，以训练高复杂度、超大规模的 AI 模型。 4 月 9 日，欧盟发布“人工智能大陆行动计划” [5]，战略核心是将 欧盟固有优势（如高质量人才储备和强大传统产业基础）转化为 AI 发展的关键加速器，力争成为人工智能领域的全球领导者。

大语言模型的数学结构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 3.3 大语言模型的训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.4 采样和推理 力。这部分讨论这为社会科学研究中应用大 语言模型提供了思考框架，并且对更好的人机协作提出了启示。 随后本文介绍了大语言模型的技术原理。事实上，大语言模型并不神秘，它只不过是利用大量真实文本所 训练出的“下一词预测器”（Next Token Predictor)。这一部分还介绍了与大模型相关的一系列术语，透过这 些术语，我们可以更好地看出大模型日新月异发展背后的本质；而理解了大语言模型的本质，我们才能够更加 本部分将首先简要回顾大语言模型的发展历史，然后对大语言模型的技术手段做一个概述。与所有统计 机器学习模型一样，大语言模型有其数学结构。定义数学结构之后，就需要利用数据训练大语言模型来确定其 参数，其中包括预训练和后训练两大环节。在获得参数之后，就可以根据大语言模型所定义的概率分布进行采 样，从而生成语言，并作为下游应用的基础。最后，我们简要介绍大模型的拓展定律及其社会和经济意义。 3.1

生成式人工智能由基于大量数据进行预训练的大型模 型提供支持，这些模型通常称为 FM。 机器学习（ML）： 机器学习是一种开发算法和统计模型的科学，计算 机系统使用这些算法和统计模型，执行任务时所根 据的是规律和推理（而非明确的指令）。机器学习属 于人工智能的一部分，也是生成式人工智能的基础。 基础模型（FM）： 基础模型是一种基于大量数据进行预训练的机器学 习模型，可能包含数以十亿计的变量，因此能够学 习模型，可能包含数以十亿计的变量，因此能够学 习复杂的概念，进而赋能生成式人工智能应用程序。 大型语言模型（LLM）： 大型语言模型是一种使用数万亿个单词进行训练的 机器学习模型，因此这类模型能够识别、翻译、预测 并生成文本、图像、音乐等内容。比如 BERT、GPT、 PaLM、BLOOM、LLaMA 和 Chinchilla，就都属于 大型语言模型。 术语须知 探讨采用生成式人工智能所面临的挑战 • 从试点转向生产 中运用亚马逊云科技技术，但我们最近推出了 Project Bernini，这是一种全新的生成式人工智能模型，可以 根据二维图像、多个视图或文本描述创建功能性三维对 象。Bernini 是使用数百万种不同的三维形状进行训练 的，可以生成适用于建筑和产品设计应用的逼真物体。” Steve Hooper，Autodesk 的设计与制造软件工具部门副总裁 7 应用场景 2 ：生产 最大限度地减少停机 时间并优化生产

图 1 行业级智能驾驶智算数据平台示意图 智算数据平台一般由大算力 GPU 或专用人工智能芯片并行集群为主要计算 硬件，可以服务于人工智能深度学习模型的设计与训练，自动驾驶算法在各类数 据基础上不断地重复训练与验证，推动车辆对环境感知、路径规划等的认知水平 逐渐趋近于真实驾驶场景。 行业级智能驾驶智算数据平台旨在为行业内整车企业、智驾供应商、研究机 构及高校等主体的智能驾 域 汇聚、异构算力支持、资源隔离与调度、高可用性与容错性、性能监控与分析等。 （3）算法服务。提供行业级算法服务能力，包括但不限于基础算法库、算 法开发与优化工具、数据标注基础模型、智驾模型训练与测试环境、智能驾驶基 础模型、剪枝压缩部署工具等。 2 智能驾驶智算数据平台发展现状分析 2.1 国外现状分析 2.1.1 国外企业及项目建设情况 （1）智能驾驶开发商及汽车厂商 数据闭环机制。大部分整车企业和智驾供应商已建立较为完整和成熟的数据 处理流程，并且开发有自动化处理工具链。 路侧数据应用。70%以上整车企业和智驾供应商在智驾模型训练中未使用路 侧感知数据；在拥有且使用路侧数据进行智驾模型训练的企业和机构中，几乎全 部认为路侧感知数据对提升智驾模型性能十分有效。 高价值数据占比。从所拥有的数据量来看，我国整车企业及智驾供应商的已 有数据中，Corner

开发的效率，同时关键数据的实时监控也确保了开发过程中的问题能够被及时发现、解决，从而提高 了最终产品的质量。 2.1 汽车设计AIGC基础技术 通用语言大模型通过使用上百亿个参数和庞大的语料库进行训练，使得大模型可以理解并生成更自然、 更丰富的文本内容，在通用领域具备了知识推理能力，初步实现了“人的孪生”。 然而，通用语言大模型也存在一些潜在的问题和挑战，在严肃的专业产品领域应用还存在很多问题： 缺少必要的专业知识 02 在严肃产品领域中，所有结果都要禁得起 推敲，因此生成过程逻辑要高度透明，数 据来源可回溯。 大模型的决策过程往往是黑盒式的， 这导致其决策缺乏可解释性 03 无监督训练的过程使大模型难免学习到错 误和偏见的信息，从而产生幻觉；另外缺 乏逻辑和规范化数据使模型生成内容存在 信息丢失和违规的风险。 大模型无法确保 生成内容完整、规范、可信 04 通用大模型采用的是一问一答的交互方式， 而实现知识的自动抽取。其次，将抽 取到的知识构建成知识图谱，建立关联性。这一过程结合大模型的语言理解能力，协助实现图谱构建 中实体和关系抽取的过程，更能丰富语义信息。最后，将知识图谱与大模型融合训练，帮助模型学习 专业知识，从而为大模型生成过程增加逻辑性。 2.1.3 知识技术——知识图谱 结构化 数据 半结构化 数据 非结构化 数据 数据映射整合 数据库 知识表示 实体提取

限于交通标志识别、障碍物检测及行人跟踪等。同时，借助自然语言处理与语音识别技术的进步，车载交互界 面得以实现更加智能化的人机对话，从而提升用户体验并确保驾驶安全。 通过集成先进的机器学习模型与海量数据集进行训练，智能网联汽车如今已具备了高度自适应的能力，可 以在多变的道路条件下执行复杂的决策任务。例如，在智能辅助驾驶系统中，车辆可基于实时收集的数据流， 运用预测性建模和情境理解来优化路径规划，进而提高行驶效率与安全性。 能够轻松处理来自全 球各地的用户反馈和行驶记录，并利用这些数据优化产品设计和服务流程，从而为用户提供更加个性化的服务， 如智能导航、远程维护等。更重要的是，云端计算能力使得复杂的 AI 模型算法训练成为可能，加速了新功能 的研发周期，让创新成果更快地惠及消费者。 新技术带来的全新机遇 当前，全球智能汽车市场正处于蓬勃发展阶段。根据 IDC 研究数据显示，2021 年至 2026 年间，全球 智能驾驶无疑是车企争夺的技术高地，各大车企都在智能驾驶上持续发力。海量数据的训练、复杂模型 的迭代，都对底层算力的规模、弹性、稳定性和效率提出了前所未有的挑战。在此背景下，AI 基础设施在智 能驾驶研发中扮演了至关重要的角色。阿里云针对汽车行业的需求，构建了强大的 AI 算力服务能力，为智能 驾驶研发构筑高性能、高弹性、高可用的算力基础设施。 针对车企对大规模、高性能并行训练的迫切需求，阿里云打造了灵骏智算集群。它提供弹性异构算力服务，

Chat Generative Pre-trained Transformer ） ，是一种适用于自然语言交流的人工智能大模型， 它 成功的关键之一 ，是 Open AI 使用了海量数据进行预训练。 5 年间 ， GPT 的参数量已从亿级飙升至万亿级。 GPT-3 1,750 亿 参数 量 2022 年 7 月 四代 GPT 参数量变化 ChatGPT 成功关键之一：大参数 GPT-1 资料来源：《动手学深度学习》（李沐） 2020 年 ，微软亚洲研究院首次将 Tf 模型应用于图像分类任务 ，在评测中实现 88.55% 的准确率。而且 Tf 模 型在 数据量越大的情况下表现越好 ，特别适用于自动驾驶这类大规模数据训练场景。 Tf 模型的另一个重要用处：计算机视觉 Transformer 模型可将 2D 图像融合成 3D 视角 Transformer 模型的工作原理 资料来源：《 Attention Is All 端到端方案 • 输入感知信息 ，直接生成控制 决策信号 ，更接近人的驾驶习惯； • 可借助数据的多样性获得不同 场景下的泛用性； • 减少感知、决策等中间模块的 训练过程 ，可集中模型训练资源。 • 黑盒模式， 解释性差， 当 系统出现错误时 ，难以判断是 哪个隐藏层或神经元的问题； • 闭环验证较难， 缺少真实 数据验证。 应用 AI 大模型后，

2 域控制器 13 2.1.3 执行硬件 18 2.2 车端推理 19 2.2.1 算法架构演进 19 2.2.2 算法场景应用 20 2.3 云端训练 20 2.3.1 训练数据 21 2.3.2 训练芯片 22 第三章 智能驾驶行业赋能与场景创新 24 3.1 主动安全 25 3.1.1 碰撞预警（FCW/RCW） 25 3.1.2 自动紧急制动系统（AEB） 米波雷达等传感器进行环境感知，并通过车载通信实现 车云协同；车端算法层整合管理域、算法、应用及安全 域，实时解析传感器数据生成决策指令；云端提供全导 航、数据管理和模型训练等功能，通过 OTA 向车端推 送更新。系统通过“传感器数据反馈、车端实时推理、 云端模型训练”闭环，实现环境感知、动态决策与精准 执行的全链路智能化驾驶。 第一章 智能驾驶概念与发展辨析 05 图 1-2 智能驾驶整体技术架构图 行机构，形成感知、决策、执行链条。 云端服务层由地图服务、数据管理、模型训练等核心模 块构成，其特点是依托远程服务器提供全局化、高精度 服务支持。地图服务为车辆提供实时路网和车道级导航 信息，数据管理模块负责存储和处理海量行车数据，模 型训练则利用这些数据持续优化 AI 算法模型，并通过 OTA 向车端推送迭代版本。该层与车端算法层紧密联 动，模型训练结果通过算法更新提升车辆智能化水平， 同时车端采集的传感器数据回传至云端形成数据闭环，