2024年汽车AI大模型TOP10分析报告

微信扫码，打开到小程序

产业研究 战略规划 技术咨询 2 预训练语言模型 预 训 练 微 调 将模型在大规模无标注数据上进 行自监督训练得到预训练模型 将模型在下游各种自然语言处理任 务上的小规模有标注数据进行微调 得到适配模型 AI大模型就是预训练语言模型 通过在大规模宽泛的数据上进行训练后能适应一系列下游任务的模型 预训练语⾔模型“预训练 + 微调”技术范式 ⼤规模⽆标注 ⽂本数据 模型预训练 不同特定任务 有标注训练数据 模型微调 测试数据 最终模型 从海量数据中自动学习知识 Ø Big-data Driven，模型基于大规模语料训练而成； Ø Multi-tasks Adaptive，支持多种任务，包括自然 语言生成NLG和自然语言理解NLU类的任务； Ø Few-shot (Zero-shot)，在少甚至无标注样本的 条件下支持推理（自监督学习）。 产业研究 战略规划 技术咨询 3 大模型发展历程 众多预训练模型相继涌现，OpenAI 以 GPT2、GPT-3、ChatGPT 等系列模型为代表，持续引领大模型时代的浪潮 Ø 2017 年，Google提出Transformer 框架在机器翻译中取得显著进步，其分布式学习和强大编码能力受到广泛关注。 Ø 2018 年 Google 和 OpenAI 基于Transformer 提出了预训练语言模型 BERT 和 GPT，显著提高了NLP 任务的性能，并展示出广泛的通用性。 AlexNet (图灵奖得主 Hinton) CAN (Gioodfellow. 图灵奖得主 Bengio) Word2Vec (Google. 引用78550) Attention (图灵奖得主 Bengio) ResNet ( MSR. 引用183222) Transformer( Google. 引用91332) BERT (Google) GPT (OpenAI) GPT-2 (OpenAI) GPT-3 (OpenAI) Foundation Model (Stanford) PaLM (Google) ChatGPT (OpenAI) ViT (Google) DALL E2 (OpenAI) GPT-4V (OpenAI) ERNIE(百度) CPM(智源) GLM(洁华) 2012 2013 2014 2015 2016 2017 2018 2019 2020 2022 2022 2023 跨模态模型 预训练模型 大模型 计 算 机 视 觉 自 然 语 言 处 理 认 知 感 知 来源：大模型驱动的群体智能行业白皮书 产业研究 战略规划 技术咨询 4 大模型参数规模不断增长，推动 AIGC技术升级。AIGC技术发展的背后是大模型（Foundation Models）技术的持续迭代。从 2017 年 Transformer 结构的提 出，加速了深度学习模型的参数学习能力。另一方面，GPU算力也在指数级增长。 图1：2018-2023 年模型参数规模变化图 来源：中国人工智能系列白皮书 图2：CPU与GPU算力演进比较 来源：techovedas ，国元证券 产业研究 战略规划 技术咨询 5 英伟达每2年推出一个微架构，对产品线进行升级，6 月 2 日，英伟达在 Computex 2024大会上发布了至2027年的芯片路线图，GPU迭代 周期由 2年缩短到1年，走类似英特尔的Tick-Tock 模式（一年工艺一年架构）。同时，英伟达践行“Buy More Save More”让算力成本 指数级下降。 图3：英伟达GPU架构演进图 图4：训练芯片算力成本呈下降趋势 Ø 我国高端GPU芯片进口从2019年以来就一直有被限制，只是之前主要针对的厂商是AMD，在应用场景上又以超算中心为主； Ø 2023年10月17日，美国加强了面向中国市场的AI芯片禁令。其中明确将性能、密度作为出口管制标准，将单芯片超过300teraflops算力，以及性能密度超 过每平方毫米370 gigaflops的芯片都纳入了禁止出口行列。禁令涉及A100、H100等主流AI训练用英伟达GPU。 来源：浙商证券研究所、华泰证券研究所 产业研究 战略规划 技术咨询 6 中国科技企业的市场导向和商业化压力 常使得大厂技术部门在追求KPI的同时， 难以专注于前言技术的研发 中国科技企业较少开展全球化经营， 导致在营收、人才获取、全球化商业 场景方面制约明显 发展AI大模型相关的软硬件技术需要大量 人才，大量的优秀本科生选择出国深造， 而其中超过60%的毕业生选择在海外工作， 导致长期的优秀人才流失。另外在中西方 脱钩的背景下，美西方限制了对中国高科 技人才的培养与学术合作交流 行业高精 数据短缺 中国在高质量数据获取方面面临挑战， 主要由于缺乏完善的数据法规、行业内 固有的竞争性保密性，对开源合作文化 的不足 相较于英文、中文高质量开源数据非常 少，特别是在构建通用领域大模型的百 科类、问答类、图书贡献、学术论文、 报告杂志等高质量内容 由于各类政策管制和商业模式复制壁垒 低，导致的基础数据和语言语料同质化 数据 人才 中文语料 短缺 数据和语料 的同质化 商业化 压力大 全球化 经营 人才流失与 人才短缺 产业研究 战略规划 技术咨询 7 科技大厂 创业新势力 产业研究 战略规划 技术咨询 8 综合各测评平台的方法论来看，在基础能力的测评维度基本相同，仅测评数据集和评估权重占比不同；而在基础能力之外，各测评平台侧 重点不同 ��� ü ü ü ü ü OpenCompass 2.0 �� ü ü ü ü ü Agent IDC ü ü ü ü ü To C通用场景类 To B特定行业类 Agent 特定行业类 超长文本 道德责任 Language �� Knowledge �� Reason �� Math �� Code �� Other �� 产业研究 战略规划 技术咨询 9 ���� 问答 理解类 推理类 数学类 创作 表达类 代码类 ���� 问答理解类 常识、专业知识、多语言、多模态、角 色扮演+多轮对话、安全陷阱 推理类 情感推理、演绎推理、逻辑推理、归纳 推理、类比推理 创作表达类 文字创作&创意、内容改写/续写、修改 /润色、文字处理、编辑/语义匹配、摘 要提取、关键、字提炼、标题生成、文 本风格迁移、图像创作、短视频创作(文 生视频)、其他创作(文学艺术、商业通 用) 数学类 小学数学、初中数学 高中数学、高等数学 推理类 代码生成、编程翻译 代码解释、代码纠错 代码自动补全 生成代码文档 单元测试 toC通用 场景类 生活助手 办公工具 toB特定 行业类 工业:产品设计辅助&&生产规划 教育:智能问答、试题生成 法律:智能法律助手，法律咨询 医疗:问诊，用药咨询 科研 金融:推荐场景 金融/咨询服务:财报/市场分析 互联网/媒体:文案/海报设计、广告词 创作、视频生成场景 零售/电商:客服问答 IDC测试题目分为基础能力和应用能力两个大类共7个维度 IDC 采取实测的方式，成立产品测试团队，通过多个维度对基础大模型及相关产品进行评测，并邀请外部专家团队深入分析各个产品答案准确性、合理性等，在审 核委员会的监督下，最终得出各厂商的评估结果，供用户选型参考。 产业研究 战略规划 技术咨询 10 我们跟踪研究了多个通用大模型，其中包括： Qwen-Max-0428 SenseChat V5 Ernie-4.0 Tencent Hunyuan Spark 4.0 Ultra Yi-Large GLM-4 Pangu 5.0 Baichuan4 CongRong 2.0 产业研究 战略规划 技术咨询 11 在2024年，大模型的技术发展将趋向多功能与小型化，同时产业端将强调自主研发和行业标准化 ��� 模型整合统一 未来的技术演进方向是实现大模型底层框架的整合与标准化，从多样的架构（如双编码器、 单边解码等）转向统⼀的、效率最优化的开源底层框架，提升模型的通⽤性和可维护性。 参数规模扩展 为确保模型质量和性能，未来的大模型将采⽤更深层的⽹络结构和更庞⼤的数据集进⾏预 训练，尤其在数据量和参数量上将迎来显著跃升。 多模态融合 大模型将逐渐融入图⽚、⾳频、视频等多种模态信息，实现跨模态的交互与理解，从⽽拓 宽其应⽤场景和实⽤价值。 大模型小模型化 在产业应⽤层⾯，结合底层基础大模型和针对特定⾏业的精简数据微调，将训练出更为实 用、更易于产业落地的小型化大模型。 ��� 国产AI芯片自主研发 为确保中国大模型的长远发展和避免外部制裁风险，国内AI计算芯片的自主研发将成为关 键战略方向。 数据产权标准深化 优化和完善现有数据标准和规范，是 推动大模型“燃料”质量提升和数量增长的重要驱动 力，在2024年将作为产业发展的首要任务。 “套壳”微调策略 为满足产业实际需求并适应中小企业的发展特点，“套壳”微调（即在现有大模型基础上 进⾏针对性调整）将成为除行业巨头外企业的主要发展策略。 人工智能伦理责任 随着大模型性能的飞速提升和实⽤性的增强，确保AI技术与社会伦理道德标准相⼀致将成 为⼤模型持续发展的关键考量因素。 来源：沙利文中国大模型测评报告 产业研究 战略规划 技术咨询 12 来源：面壁智能公众号 ���������� MMLU ������������� ������ ���������� 大模型的知识密度每8个月左右会翻一倍， 同等知识量的模型参数量会减半 右图显示了过去四年大语言模型在 MMLU 榜单（评估大模型知识能力）上的性能表现， 红色曲线表明，大模型的知识密度平均每8 个月左右会翻一倍，同等知识量的模型其参 数量会减半 知识密度=知识量/参数量 产业研究 战略规划 技术咨询 13 来源：面壁智能公众号 ������� GPT-4V ����� �������������� ���� 在 2 0 2 4 年 5 月 发 布 的 多 模 态 大 模 型 MiniCPM-Llama3-V 2.5 仅凭 8B 参数， 实现了“以最小参数，撬动最强性能” 的最佳平衡点。 面壁智能迭代的最新版本MiniCPM-S 1.2B采用了高度稀疏 架构，通过将激活函数替换为 ReLU及通过带渐进约束的稀 疏感知训练，巧妙地解决了此前主流大模型在稀疏激活上面 临的困境。 在通用大模型越来越卷参数规模和算力的情况下，如何通过 架构和算法创新去规避算力和成本的短板，我们认为小参数、 高性能模型是一个重要的趋势，特别对于手机、车载终端而 言，这样的端侧模型具有现实的需求。 产业研究 战略规划 技术咨询 14 来源：文心一言官网 与百度的方案类似，各科技大厂基于云平台、算力基础设施和大模型技术相结合，推动行业应用落地，汽车产业链当然也 是最重要的落地场景之一。 ����� 文心一言沿袭了 ERNIE 3.0 的海量无监督文本与大规模知识图谱的平行 预训练算法，模型结构上使用兼顾语言理解与语言生成的统一预训练框 架。为提升模型语言理解与生成能力，研究团队进一步设计了可控和可 信学习算法。 ��� 结合百度飞桨自适应大规模分布式训练技术和“鹏城云脑Ⅱ”领先算力 集群，解决了超大模型训练中的多个公认技术难题。在应用上，首创大 模型在线蒸馏框架，大幅降低了大模型落地成本 产业研究 战略规划 技术咨询 15 ���� 规模法则驱动下，海量的算力成为开发优秀AI算法的基础 目前海外特斯拉、Wayve、Comma.ai，国内包括小鹏、理想、华为、蔚来汽车、元戎启行、商汤、地平线等诸多玩家都提出自己的端 到端自动驾驶方案，在算法上端到端已经成为大势所趋。 但在发展路径上，行业预计也会经历渐进的过程。早期玩家致力于将算法从模块化架构平稳过渡到端到端，远期大语言模型和端到端基 础模型有望结合形成“系统一”和“系统二”共同赋能自动驾驶，最终强大的通用人工智能（AGI）或许可覆盖所有驾驶能力。 对自动驾驶而言，与所有AI应用类似，算力、算法、和数据三要素都必不可少 ���� 数据的体量、质量、以及收集方式、处理方式、以及模型的训练和验证体系都考验着开发者的技术和工程能力 ���� 如何构建一个性能优异且稳定可靠的算法来支撑功能落地，亦尤为关键 端 到 端 模 型 多模态大语言模型 AGI 通用世界模型 产业研究 战略规划 技术咨询 16 �� ��� �� ��� ����� 竞争因素 评选原则 • 四种竞争要素缺一不可； • 持续的产品迭代能力； • 逐步建立于自研芯片或者国产芯片的算 力建设； • 汽车行业的合作与量产应用； • 多场景的覆盖能力与量产应用； • 持续的产品迭代能力； • 走向通用世界模型的潜力； • 单一场景的技术积累； • 广泛的汽车行业客户与量产应用； • 可以允许“套壳”与API调用； • 单场景技术方向的领先发展潜力； 数据 服务 场景 场景 数据 算法 算力 算法 数据 框架 产业研究 战略规划 技术咨询 17 ��������������� �������������� ���������� Tier1������������� �� ��� 产业研究 战略规划 技术咨询 18 1 � � � 供应商1 供应商3 供应商2 2 � � � � 主机厂1 …… 主机厂2 3 � � � � 主机厂N 公司2 公司1 ���� ���� ���� ���� ���� ���� ���� ���� 产业研究 战略规划 技术咨询 19 Ernie-4.0 SenseChat V5 Tencent Hunyuan Spark 4.0 Ultra Pangu 5.0 FSD V12.3 XGPT Drive GPT2.0 DFM-2 MiniCPM 百度 BAIDU ������� 产业研究 战略规划 技术咨询 21 Ø 2024年6月28日，百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰在WAVE SUMMIT深度学习开发者大会 2024上宣布了文心一言的最新数据，并正式发布文心大模型4.0 Turbo、飞桨框架3.0等最新技术 2019.03 中国首个正式开放的预 训练模型Ernie1.0 2019.07 全球首个大规模隐变 量对话模型Plato 2021.07 全球首个知识增强百亿 大模型Ernie3.0 2021.09 全球首个百亿中英对话生 成模型Plato-XL 2021.12 全球最大中文跨模态生成 模型Ernie-viLG 2021.12 全球首个知识增强千亿大模型 鹏程·百度·文心 2023.03.16 文心一言大模型3.0 2023.10 文心一言大模型4.0 2024.06.28 文心一言大模型4.0 Turbo “文心一言” 发展历程 产业研究 战略规划 技术咨询 22 �� & �� 航空航天 气象&海洋 能源动力 材料研发 新药研发 疫苗设计 飞行器&汽车风阻预测 座舱散热 天气预报 凸包能预测 蛋白质结构预测 �� �� 数据驱动 机理驱动 数理融合 �� �� PaddleScience PaddleHelix DeepXDE Nvidia Modulus Nvidia Modulus DeePMD-kit 算力中心 智算中心 �� 算子库 高阶自动微分 原生复数机制 线性代数运算 ······ 计算库 概率统计 方程符号化定义 神经算子学习 ······ 大范围分布式并行计算 编译器 硬件算子适配 飞桨深度学习框架 ��� 百度自研昆仑芯，同时也与国内外机构合作，搭建 算力中心和异构计算平台 ��� 其飞桨框架已经更新到3.0版本。实现大模型混合 并行训练策略、编译器自动优化、大模型多硬件适 配和推训一体 ��� 开发飞桨的各类组建 ��� 文心一言推出多种功能各有侧重的文心大模型，包 括文心轻量级、文心3.5、文心4.0、文心4.0工具版。 其中，文心轻量级模型适合解决确定场景的问题；文心3.5适用于日 常信息处理和文本生成任务；文心4.0模型参数更大、具备更强的理 解能力、逻辑推理能力与更丰富的知识，提供专业且深入的帮助；文 心4.0工具版则基于智能体技术，善于综合运用多种工具和数据，按 要求完成非常复杂的任务。最新发布的文心4.0 Turbo则是文心4.0的 升级版。 产业研究 战略规划 技术咨询 23 Intel NVIDIA Arm • CPU:飞腾、海光、鲲鹏、龙芯、申威 • 操作系统:麒麟、统信、普华 • AI芯片:昆仑芯、海光、寒武纪、瑞芯微、算能、高通、 Graphcore、Ambarella • 与浪潮、中科曙光等服务器厂商合作 • 形成软硬一体的全栈AI基础设施 工具与 组建 端到端 开发套 件 基础模 型库 核心 框架 ⾃动化深度学 习 强化学习 联邦学习 图学习 科学计算 量⼦机器 学习 ⽣物 计算 可视化分析 ⼯具 云上部署编排⼯具 安全与隐私⼯ 具 低代码开发⼯ 具 预训练模型应 ⽤⼯具 资源管理 与调度⼯ 具 语音理解 文字识别 图像分类 目标检测 图像生成 大模型推训一体 图像分割 自然语言处理 计算机视觉 语音 时间序列 文心大模型 推荐 动态图 大规模分布式训练 产业级数据处理 静态图 模型压缩 边缘与移动端推理引擎 前端推理引擎 服务器推理引擎 服务化部署 全场景统一部署 学 习 与 实 训 社 区 开发 训练 推理部署 ���������������� 产业研究 战略规划 技术咨询 24 � � � � � ����� 能 源 金 融 航 天 制 造 传 媒 城 市 社 科 影 视 自然语言处理 视觉 跨模态 生物计算 ERNIE 3.0 Zeus |鹏城-百度·文心 ERNIE 3.5 | ERNIE 4.0 文心一言 ERNIE Bot 对话 PLATO-XL|搜索 ERNIE-Search 跨语言 ERNIE-M |代码 ERNIE-Code 语言理解与生成 ERNIE OCR图像表征学习 VIMER-StrucTexT 多任务视觉表征学习 VIMER-UFO 视觉处理多任务学习 VIMER-TCIR 自监督视觉表征学习 VIMER-CAE 文档智能 ERNIE-Layout 文图生成 ERNIE-ViLG 视觉-语言 ERNIE-ViL 语言-语言 ERNIE-SAT 化合物表征学习 HelixGEM 蛋白质结构预测 HelixFold 单序列蛋白质 结构预测 HelixFold—Single 产业研究 战略规划 技术咨询 25 名称：知识增强的汽车行业大模型——吉利-百度·文心 与主机厂合作落地 使用了百度文心ERNI