2000- 2020- 1980 2000 2020 ■ 大型机时代：数字化未开始，算力需求潜力未发掘 ■ 6* N * D ■ 万亿模型计算次数 C≈ 6* N * D 1 ≈ .5*1025 OpenAI."Scaling Laws for Neural Language Models",2020 ■ 万亿大模型预训练系统成本估计 ■ 条件：计算量 C≈ 6 * N * D ≈1.5*1 025 ■ 最低时间、成本估计 ■ 单 H800(25 万 ):1.5*1010 秒 (174000

模型效果大幅提升， 出现平权现象，引发新一波的“百模千态” 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021 2022 2023 2024 2025 2026 训练的算力需求将持续增长，算力结构从“预训练为主” 走向 “预训练 + 后训练 / 二次训练” person, home, and organization for a fully connected, intelligent world. Copyright© 2020 Huawei Technologies Co., Ltd. All Rights Reserved. The information in this document may contain predictive

大模型通常指的是大规模的人工智能模型 ，是一种基于深度学习技术 ，具 有 海量参数、强大的学习能力和泛化能力 ，能够处理和生成多种类型数据的 人 工智能模型。 通常说的大模型的“大”的特点体现在： 2020 年 ， OpenAI 公司推出了 GPT-3 ，模型参数规模达到了 1750 亿。 2023 年 3 月发布的 GPT-4 的参数规模是 GPT-3 的 10 倍以上 ，达到 1.8 万 亿，