电子AI+系列专题：复盘英伟达的AI发展之路

微信扫码，打开到小程序

电子 AI+ 系列专题报告（二） 复盘英伟达的 AI 发展之路 证券分析师：胡剑 证券分析师：胡慧 证券分析师：周靖翔 证券分析师：李梓澎 联系人：詹浏洋 021-60893306 021-60871321 021-60375402 0755-81981181 010-88005307 hujian1@guosen.com.cn huhui2@guosen.com.cn zhoujingxiang@guosen.com.cn lizipeng@guosen.com.cn zhanliuyang@guosen.com.cn 证券研究报告 | 2023 年 05 月 29 日 行业研究 · 行业专题 电子 投资评级：超配（维持评级） 请务必阅读正文之后的免责声明及其项下所有内容 S0980521080001 S0980521080002 S0980522100001 S0980522090001 l GPU 是人工智能时代下满足深度学习大量计算需求的核心 AI 芯片。 过去五年，大型语言模型的参数规模以指数级增长；从 2018 年起， OpenAI 开始发布生成式预训练语言模型 GPT 以来， GPT 更新换代持续提升模型 及参数规 模； 2022 年 12 月， OpenAI 发布基于 GPT-3.5 的聊天机器人模型 ChatGPT ，参数量达到 1750 亿个。 ChatGPT 引领全球人工智能浪潮，人工智能 发展需要 AI 芯 片作为算力支撑。据 Tractica 数据，全球 AI 芯片市场规模预计由 2018 年的 51 亿美元增长至 2025 年的 726 亿美元，对应 CAGR 达 46.14% ；据前瞻产业研究院 数据，中国 AI 芯片市场规模预计由 2019 年的 122 亿元增长至 2024 年的 785 亿元，对应 CAGR 达 45.11% 。 AI 芯片中 由于 GPU 通用型强，满足深度学习大量计算 的需求，因此 GPU 在训练负载中具有绝对优势。以 GPT-3 为例，在 32 位的单精度浮点数数据下，训练 阶段所需 GPU 数量为 1558 个，谷歌级应用推理阶段所 需 GPU 数量为 706315 个。 l 英伟达开辟 GPGPU 加速计算格局， GPU 架构演进及产品布局赋能 AI 时代。 英伟达 (NVIDIA) 成立于 1993 年，总部位于美国加利福尼亚州圣克拉拉，是一家人工智能计算公司。据 JPR 数据， 4Q22 英伟达独立 GPU 出货量占比 为 82% ， 位居市场第一。公司股价经历 2016-2018 年、 2020-2021 年、 2022 年 9 月以来三轮快速增长；其中 2022 年 9 月至今，受 AI 驱动下针对芯片算力需 求提升，公 司股价呈现大幅度反弹；截至 2023 年 4 月 30 日，公司市值为 6854.00 亿美元。回顾历史， 1999 年，公司发明了图形处理器，定义了 现代计算机图形学 ； 2006 年，公司推出用于通用 GPU(GPGPU) 计算的 CUDA 平台。 自 2015 年以后，随着 AI 浪潮迅猛推进，公司业务不断多元化， 向数据中心、游戏、移动设备、 汽车电子等市场发展。公司 GPU 产品能够并行计算的性能优势满足深度学习需求，通过对 GPU 架构升级不断推出新产 品，其运算性能得到显著提升，广泛 用于数据中心等计算密集领域。 请务必阅读正文之后的免责声明及其项下所有内容 复盘英伟达的 AI 发展之 路 英伟达业务模式拟打造成类似于计算堆栈或神经网络，包含硬件、系统软件、平台软件和应用四层，公司结合芯片、系统和软件的全栈创新能力构建加 速计算平台，并且完善针对 AI 加速计算及数据中心的 GPU 、 CPU 、 DPU 三种芯片产品结构。 AI 布局方面，早在生成式 AI 变革初期就已参与并与 OpenAI 、微 软合作。 2023 年 3 月，英伟达在 GTC 大会上推出 4 个针对各种生成式 AI 应用程序进行优化的推理平台，其中发布带有双 GPU NVLink 的 H100 NVL 加速计算卡， 以支持 ChatGPT 类大型语言模型推理。与适用于 GPT-3 处理的 HGX A100 相比，配备四对 H100 与双 GPU NVLink 的标准服 务器的速度最高可达 10 倍。 l 计算与网络事业部收入占比提升，数据中心超过游戏成为收入主要来源。 FY23 ，公司收入为 269.74 亿美元，同比增长 0.22% ，主要由于数据中心及汽车领域收入的高速增长抵消了游戏及专业可视化领域所带来的收入减少； 净 利润为 43.68 亿美元，同比减少 55.21% ，主要由于运营费用同比增长 50% 所致，包括与 Arm 交易相关的 13.5 亿美元收购终止费用。公司业务部门 包括计算 与网络事业部和图形事业部， FY23 收入占比分别为 55.86% 、 44.14% 。公司的平台及产品主要应用于数据中心、游戏、专业可视化、汽 车等四大领域， FY23 占比分别为 55.63% 、 33.61% 、 5.72% 、 1.69% 。分地区来看， FY23 来自美国地区的收入占比最高，达 30.7% 。公司 FY1Q24 实现收入 71.92 亿美元 (YoY - 13.2% ， QoQ 18.9%) ， FY2Q24 收入指引为 107.8-112.2 亿美元 (YoY 60.8% 至 67.4% ， QoQ 49.9% 至 56.0%) 。 l 产业链相关公司：算力：英伟达、海光信息、寒武纪、全志科技；服务器：工业富联、国芯科技、环旭电子、闻泰科技、易德龙； PCB ：沪电股份、 胜宏科技、东山精密、鹏鼎控股； AI 终端： 晶晨股份、瑞芯微；先进封装： 长电科技、通富微电、芯原股份；存储：深科技、江波龙、佰维存储、 兆易创新。 请务必阅读正文之后的免责声明及其项下所有内容 l 构建加速计算平台、完善“三芯片”产品布局，重点发力 AI 及数据中心领域。 复盘英伟达的 AI 发展之 路 目录 01 GPU 与人工智能 02 英伟达 的 A I 发展之 路 03 英伟达业绩实现与拆 解 04 风 险提示 请务必阅读正文之后的免责声明及其项下所有内容 请务必阅读正文之后的免责声明及其项下所有内容 一、 GPU 与人工 智能 l 全球数据总量及数据中心负载任务量大幅上涨，数据中心算力需求快速增长。随着 人工智能等新技术发展，海量数据的产生及其计算处理成为数据中心发展关键。 据 IDC 数据，全球数据总量预计由 2021 年的 82.47 ZB 上升至 2026 年的 215.99 ZB ， 对应 CAGR 达 21.24% 。其中，大规模张量运算、矩阵运算是人工 智能在计算层面的 突出需求，高并行度的深度学习算法在视觉、语音和自然语言 处理等领域上的广 泛应用使得算力需求呈现指数级增长。 据 Cisco 数据，全球数据中心负载任务量预计由 2016 年的 241.5 万个上升至 2021 年 的 566.7 万个，对应 CAGR 达 18.60% ；其中，云数据中心负载任务量 CAGR 预计达 22% 。 l 以模型中的参数数量衡量，大型语言模型的参数 在过去五年中以指数级增长。随着参数量和训练 数据量的增大，语言模型的能力会随着参数量的指 数增长而线性增长，这种现象被称为 Scaling Law 。 但当模型的参数量大于一定程度的时候，模 型能力 会突然暴涨 ，模型会突然拥有一些突 变能力 （ Emergent Ability ），如推理能力、无 标注学习 能力等。例如 GPT 之前的大语言模型主 流是深度神 经网络驱动，参数在数十亿水平，而 ChatGPT 达到 1750 亿参数。 全球数据量及数据中心负载量大幅上涨 , AI 模型参数呈现指数级增长 请务必阅读正文之后的免责声明及其项下所有内容 图：简单任务中不同参数模型上下文学习性能 资料来源： IDC ，国信证券经济研究所整理 资料来源： Cisco Global Cloud Index ，国信证券经济研究所整理 图：模型参数规模大幅上涨带来算力需求提升 图： 2021-2026 年全球数据总量及预测 图： 2016-2021 年全球数据中心负载任务量及预 测 资料来源：《 Language Models are Few-Shot Learners 》，国信证券经济研究所整 理 23% 22% 22% 21% 21% 20% 20% 19% 30% 25% 20% 15% 10% 5% 0% 2021 2022E 2023E 2024E 2025E 2026E 2016 2017 2018 2019 2020 2021E 600 500 400 300 200 100 0 250 200 150 100 50 0 资料来源：英伟达官网，国信证券经济研究所整理 负载任务量（万个） YoY 数据总量（ ZB ） YoY 表：国内外科技企业发语言模型发布情况 公司 产品 ( 拟 ) 发布日期 阶段 链接 OpenAl ChatGPT 2022 年 11 月 30 日 开放注册 https://chat.openai.com/ Google Bard 2 月 8 日 公开测试 http://bard.google.com/ 复旦大学 Moss 2 月 21 日 公开测试 ( 目前升级 中） https://moss.fastnlp.top/ 澜舟科技 孟子 3 月 14 日 已发布 https://www.langboat.com/portal/mengzi-model 百度 文心一言 3 月 16 日 企业用户内测 https://yiyan.baidu.com/ 达观数据 曹植 3 月 21 日 可申请使用 http://www.datagrand.com/products/aigc/ 清华大学 ChatGLB-6B 3 月 28 日 已开源 https://github.com/THUDM/ChatGLM-6B 阿里巴巴 通义千问 4 月 7 日 企业用户内测 https://tongyi.aliyun.com/ 360 360 智脑 4 月 10 日 企业用户内测 http://www.360dmodel.com/ 商汤科技 日日新 4 月 10 日 即将邀请内测 https://www.sensecore.cn/ 昆仑万维 天工 3.5 4 月 17 日 即将邀请内测 http://tiangong.kunlun.com/ 科大讯飞 1+N 认知智能大模型 5 月 6 日 即将发布 - 网易有道 子曰 近期 即将发布 - 华为 盘古 NLP 模型 近期 即将发布 - 腾讯 混元助手 近期 未开放 - 京东 言犀 今年 未开放 - 图 ： AlexNet 网络结构示意图 资料来源： AI 有道，国信证券经济研究所整理 lChatGPT 引领全球人工智能浪潮，人工智能发展需要 AI 芯片作为算力支撑。从 2018 年起， OpenAI 开 始 发 布 生 成 式 预 训 练 语 言 模 型 GPT 以 来 ， GPT 更 新 换 代 持 续 提 升 模 型 及 参 数 规 模 ， 当时 GPT-1 参数量只有 1.17 亿个。 l2020 年， OpenAI 发布 GPT-3 预训练模型，参数量为 1750 亿个，使用 1000 亿个词汇的 语料库 进行训练，在文本分析、机器翻译、机器写作等自然语言处理应用领域表现出色。 l2022 年 12 月， OpenAI 发布基于 GPT-3.5 的聊天机器人模型 ChatGPT ，具有出色的文字 聊天和 复杂语言处理能力。 ChatGPT 的发布引爆 AI 领域，海内外科技公司纷纷宣布发布大 语言模型， 而用户爆发式增长对大语言模型的算力需求同样带来挑战， AI 芯片成为算力提 升关键。 版本 GPT 1 GPT 2 GPT 3 时间 2018 年 6 月 2019 年 2 月 2020 年 5 月 参数量 1.17 亿 15.4 亿 1750 亿 预训练数据量 5GB 40GB 45TB 训练方式 Pre-training+Fine-tuning Pre-training Pre-training 序列长度 512 1024 2048 # of Decoder Layers 12 48 96 Size of Hidden Layers 768 1600 12288 l 随着互联网时代对于数据量的积累，大数据背景下神经网络成为机器学习的重要方法。 2012 年，深度卷积神经网络 AlexNet 凭借在图像分类识别领域中性能的大幅提升及错误率 的 大幅降低，成为人工智能的标志性事件。 l 在此过程中，其训练者 Alex Krizhevsky 创新性地使用英伟达 GPU 成功训练了性能有突破性 提 升 的 深 度 神 经 网 络 AlexNet ， 从 而 开 启 了 新 的 人 工智能时代。英伟达 GPU 伴随着深度 学习 模型训练和推理所需要的大量算力成为了人工智能时代的新基础设施。 神经网络 AlexNet 使用 GPU 训练开启 AI 时代， AI 芯片是算力的重 要支撑 请务必阅读正文之后的免责声明及其项下所有内容 表： GPT-1 至 GPT-3 模型参数 资料来源：腾讯云开发者，国信证券经济研究所整理 资料来源：金十数据，国信证券经济研究所整理 表：不同技术架构 AI 芯片比较 种类 定制化程度 可编辑性 算力 价格 优点 缺点 应用场景 GPU 通用型 不可编辑 中 高 通用型较强、适合大规模并行运算；设计和制造工艺成熟。 并行运算能力在推理段无法完全发挥。 高级复杂算法和通用性人工智能平台。 FPGA 半定制化 容易编辑 高 中 可通过编程灵活配置芯片架构适应算法迭代，平均性能较高；功耗较低； 开发时间较短。 量产单价高；峰值计算能力较低；硬件编程困难。 适用于各种具体的行业。 ASIC 全定制化 难以编辑 高 低 通过算法固化实现极致的性能和能效、平均性很强；功耗很低；体积小； 量产后成本最低。 前期投入成本高；研发时间长；技术风险大。 当客户处在某个特殊场景，可以为其独立设计一套专业智能 算法软件。 l 当前主流的 AI 芯片主要包括图形处理器（ GPU ）、现场可编程门阵列（ FPGA ）、专用集成电路（ ASIC ）、神经拟态芯片 （ NPU ）等。 其中， GPU 、 FPGA 均是前期较为成熟的芯片架构，属于通用型芯片。 ASIC 属于为 AI 特定场景定制的芯片。另外， 中央处理器（ CPU ）是 计算机的运算和控制核心，是信息处理、程序运行的最终执行单元，是计算机的核心组成部件。 lGPU 在训练负载中具有绝对优势。据 IDC 数据， 1H21 中国 AI 芯片市场份额中， GPU 占比高达 91.9% ，依然是实现数据中心加速 的首选。 GPU 通用型较强、适合大规模并行运算，设计和制造工艺成熟，适用于高级复杂算法和通用性人工智能平台。 lAI 芯片又称 AI 加速器或计算卡，是专门用于处理人工智能应用中大量 计算任务的模块。随着数据海量增长、算法模型趋向复杂、处理对象异 构、计算性能要求高， AI 芯片能够在人工智能的算法和应用上做针对性 设计，高效处理人工智能应用中日渐多样繁杂的计算任务。 l 随着人工智能技术进步及应用场景多元化，全球及中国 AI 芯片市场得 到进一步发展。据 Tractica 数据，全球 AI 芯片市场规模预计由 2018 年 的 51 亿美元增长至 2025 年的 726 亿美元，对应 CAGR 达 46.14% 。据前瞻产业 研究院数据，中国 AI 芯片市场规模预计由 2019 年的 122 亿元增长至 2024 年的 785 亿元，对应 CAGR 达 45.11% 。 900 800 700 600 500 400 300 200 100 0 mm 市场规模（亿元） YoY 2019 2020E 2021E 2022E 2023E 2024E 60% 50% 40% 30% 20% 10% 0% 800 700 600 500 400 300 200 100 0 2018 2019 2020E 2021E 2022E 2023E 2024E 2025E 140% 120% 100% 80% 60% 40% 20% 0% 全球及中国 AI 芯片市场规模不断扩展， GPU 占比具有绝对 优势 请务必阅读正文之后的免责声明及其项下所有内容 图： 2019-2024 年中国 AI 芯片市场规模及预测 图： 2018-2025 年全球 AI 芯片市场规模及预测 图： 1H21 中国 AI 芯片市场份额 资料来源： Tractica ，国信证券经济研究所整理 资料来源：前瞻产业研究院，国信证券经济研究所整理 资料来源：亿欧智库，国信证券经济研究所整理 资料来源： IDC ，国信证券经济研究所整 理 mm 市场规模（亿美元） YoY GPU 其 他 lFPGA （ Field Programmable Gate Array ， 现 场 可 编 程 门 阵 列 ） 是 一 种硬件可重构的集成电路芯片，通过编程定义单元配置和链接架 构进 行计算。 FPGA 具有较强的计算能力、较低的试错成本、足够的 灵活性 以及可编程能力，在 5G 通信、人工智能等具有较频繁的迭代 升级周期、 较大的技术不确定性的领域，是较为理想的解决方案。 lASIC （ App lication Specific Integrated Circuit ， 专 用 集 成 电 路 ） 是一种根据产品的需求进行特定设计和制造的集成电路，能够更有针 对性地进行硬件层次的优化。由于 ASIC 能够在特定功能上进行强化， 因此具有更高的处理速度和更低的能耗。相比于其他 AI 芯片， ASIC 设 计和制造需要大量的资金、较长的研发周期和工程周期，在深度 学习 算法仍在快速发展的背景下存在一旦定制则难以修改的风险。 lGPU （ Graphics Processing Unit ， 图 形 处 理 器 ） 能 够 并 行计 算的 性 能优势满足深度学习需求。 GPU 最初承担图像计算任务， 目标是提 升计 算机对图形、图像、视频等数据的处理