（蒸馏后较原模型能力提升 10%+ ） BERT-Large Transformer ● 2 工程创新 新一轮百模千态 1 技术摸高 新一轮技术竞争 GPT-4/4o GPT-3/3.5 175B . Huawei Proprietary - Restricted Distribution PalM(540B) . Groq4 Hunyuan Claude 2 Llama3-70B BOSS 、 MY 、 360 、 MT 、 CA 、 HWY 、 CGCSYS 已测试客户： ZP 、 BJYH 、 Y C CXJH 、 MT 、 LTY 参数： 13B/100B/175B 参数： 6B/10B/130B 参数： 7B/13B/70B 22 Huawei Proprietary - Restricted Distribution 已测试客户：

concotenatel ](q 同 fopply RoPE Latent cO 0 OO00 1 ■ DeepSeek V3 模 型 参 数 ? 671B 参数 (GPT-3:175B 、 GPT-4:1.76T?) ■ 每个 token 激 活 3 7B 参数 (~5.5%), 降低计算 量 MoE: 1 共享专家 + 256 路由专家 MLA: 低秩压缩 DeepSeek