特点：需求理解能力大幅提升， 生成能力大幅提升 数据： + Filter Common Crawl 模型： GPT-2 的基础上 + sparse transformer 参数： 175 B 特点： zero-shot 效果大幅提升 数据： BookCorpus （ 7000 本 书） 模型： AR （ Transformer Decoder ） 参数： 0.117 B finetune 参数：未公开 特点：输入扩展到图片，更长文字输入，信息可靠性及安全性大幅提 升 人工对齐 强化学习 数据： + 更多的对话语料 模型： GPT-3.5 + 强化学 习 参数： 175 B 特点：对话理解能力提升 数据：未公开 模型： GPT 4 + 多模 态 规模进一步增大 in-context learning 规模增大 Prompt 预训 练 SFT RLH

（蒸馏后较原模型能力提升 10%+ ） BERT-Large Transformer ● 2 工程创新 新一轮百模千态 1 技术摸高 新一轮技术竞争 GPT-4/4o GPT-3/3.5 175B . Huawei Proprietary - Restricted Distribution PalM(540B) . Groq4 Hunyuan Claude 2 Llama3-70B BOSS 、 MY 、 360 、 MT 、 CA 、 HWY 、 CGCSYS 已测试客户： ZP 、 BJYH 、 Y C CXJH 、 MT 、 LTY 参数： 13B/100B/175B 参数： 6B/10B/130B 参数： 7B/13B/70B 22 Huawei Proprietary - Restricted Distribution 已测试客户：

concotenatel ](q 同 fopply RoPE Latent cO 0 OO00 1 ■ DeepSeek V3 模 型 参 数 ? 671B 参数 (GPT-3:175B 、 GPT-4:1.76T?) ■ 每个 token 激 活 3 7B 参数 (~5.5%), 降低计算 量 MoE: 1 共享专家 + 256 路由专家 MLA: 低秩压缩 DeepSeek

[5] (s1 Image text + FImg) to FImg DMs [167–170]; GANs [171,172]; GANs, DMs [173]; GANs, CLIP [174,175] (o3 Img + FImg) to FImg GANs [176]; s1 Image mask to FImg GANs [177]; CycleGAN [178]; s2 Img to FImg creation of architectural im- ages based on the textual prompts (s1 Image text + FImg to FImg) [160, 167–175]. Additionly, researchers utilize gen- erative AI models to train architectural images and corre- sponding intelligence. International Journal of Architectural Com- puting, page 14780771231209458, 2022. [175] Kaiyu Cheng, Paulina Neisch, and Tong Cui. From con- cept to space: a new perspective on aigc-involved

when equipped with LogPrompt, it achieves a comparable performance of log parsing with the 175B GPT model in the datasets of HDFS, Linux and Proxifier. • Additionally, when the prompt strategy

医疗辅助、公共安全、智能制造等领域，人形机器人的市场需求迅速增长。 从下游应用看，人形机器人兼具消费品与资本品的属性。根据IFR的数据，2017-2021年，工业机器人市场规模从163亿美元增长至175亿美元，年均增速为 1.8%；服务机器人市场规模从66亿美元增长至172亿美元，年均增速为27.1%，特种机器人市场规模从38亿美元增长至82亿美元，年均增速为21.2%。人形 更具优势的服务场景需 选工业人形 机器人Walker S被用于蔚来汽车制造工厂进行门锁质检、安全带检测、车灯盖板质检、贴车标等工作。 机器人市场规模（亿美元） Optimus分装电池单元 163 66 38 175 172 82 0 60 120 180 工业机器人 服务机器人 特种机器人 2017 2021 1.2.3 蓝海市场，未来可期 11 资料来源：相关公司官网，Wind，ARK Invest，华西证券研究所

Jurassic-2*Tongyi Qianwen Ernie Bot 3.5 Falcon 180B Claude . i tral- edium GLM-4 175B Lumi o l d *-l V o ul l l 0ing (davinci) Megatro n NLG 530B RoBERT a Gemin i Turing Large Ultra GPT-4 GPT-3 LaMD A 0.0009 175 B 0.003 PaL M 4.3 0.2 6.4 3.9 l 英伟达将 GPU 从图形处理器演进为通用计算处理器， CUDA 降低通用 GPU 应用门槛。成 立于 1993 年的英伟

络通信的带宽和时延要求越来越高。 1.2 算力需求和挑战 在 Transformer 模型结构中，算力需求与模型参数 规模、数据量具有相关性，具体如表1所示。 按照上述关系，以 GPT-3 175B 的参数量（1 746 亿）为 例 ，其 训 练 算 力 的 需 求 为 6×174.6 B×300 B= 314 000 EFLOPS。若采用 910B（376 TFLOPS@FP16） 集群，按照

512MB+4GB 2GB+32GB WiFi WiFi4 WiFi6 蓝牙 蓝牙 5.0 蓝牙 5.2 摄像头 双摄像头，5MP 单摄像头，12MP 重量 49.2g 48g 电池典型容量 175mAh 160mAh 扬声器 标准开放式扬声器 定制开放式扬声器 麦克风 3 麦克风阵列，立体声录音功能 5 麦克风阵列，沉浸式录音功能 AI 不支持 支持 直播 不支持 支持，最长 30 分钟

训练中，优化器状态、 梯度和参数所需的内存为 20N 字节，其中 N 是模型参数数量，则 1750 亿参数的 GPT3 大概需要 3.2TB 内存。 推理所需内存则较小，假设以 FP16 存储，175B 参数的 GPT3 推理大约需要内存 327G，则对应 4 张 80G A100，如果以 FP32 运算，则需要 10 张。 请务必阅读正文之后的免责声明及其项下所有内容 证券研究报告 9