架构在模型训练和推理时的并行处理能力更强，效率更高。 2. 参数规模大。大模型通常包含数千万、数亿甚至更多参数；巨大的参数规模使大模型能够处理更加复杂和多样的任务。 3. 强大的泛化能力。大模型通过在大规模数据集上进行训练，学习到了丰富的知识和特征表示，从而具有强大的泛化能力， 能够有效处理多种从未见过的数据或新任务，甚至能处理一些与训练数据截然不同的任务。这使得大模型能应用于多种任 务和场景，具有广泛的适用性。 4. 灵活 总体处于小规模商业应用落地阶段。 工业大模型凭借其卓越的理解、生成和泛化能力，通过与工业领域的深度融合，有望为工业领域带来 “基础模型 + 各类应用” 的新范式。因此，工业大模型的成功落地，离不开针对特定行业的丰富现场经验和深厚的行业 know-how 能力。 第四，多模态分析能力，由传统单一格式的工业数据 处理，转化为多格式数据综合转换分析。 大模型不仅能够处理单一类型的工业数据，还能够综 合分析多种格式的数据，实现跨格式的信息转换与分 策能力的基础。而往往很多时候来 自工业现场的数据量非常有限甚至极少。其次是数据质量问题，即数据的清洁性，并非所有来自工业现场的数据都是 有用的，需要对数据进行清洁。如何从实际应用场景中采集或生成丰富且有价值的可用数据，是 AI 及工业大模型成功 落地应用的挑战之一。再次是数据的标注和处理，即便有了足够的数据，对这些数据进行标注和处理也在难度和工作 量方面面临极大挑战。最后是数据安全和隐私问题，数据是

连通； 手机、平板、 PC 、学习机、电视 等各种终端设备的连通。 三 方 连 通 智慧教育：促进智慧学习 31 智慧教 学 的 智慧教学是教师在智慧教学环境下，利用各种先进 信息化技术和丰富的教学资源开展的教学活动。 特征 高效 开放 多元 互通 深度交互 32 常规 ( 课堂 ) 智慧教学过程 智慧学习 智慧学习是在智慧环境中开展的完全以学习者为中心的学习活动。

终的预测。这种方法保留了更多关于教师模型置信水平和决策过程的信息。 • 3. 特征蒸馏 特征蒸馏涉及将教师模型中间层的知识转移到学生模型中。通过对齐两个模 型的隐藏表示 ，学生模型可以学习到更丰富和更抽象的特征。 蒸馏、微调、 RAG 微调： 又叫精调 ，相当于学生意识到自己某门课有 短 板 ，然后自己找参考书恶补了一下 ，从而补上短 板 蒸馏： 是学生通过模仿老师的解题思路 ，达到和老

value 不准，难以泛 化等问题 37 技术对比讨论：蒸馏 vs 强化学习 ➢ 大型模型虽然性能强大，但是也存在着一些局限性，例如计算资源消耗过高，部署和使用门槛较高等。 ➢ 模型蒸馏：将一位经验丰富的老师的知识传递给一个年轻的学生，让其在较短的时间内掌握复杂的技能。 ➢ DeepSeek 利用蒸馏R1的手段获得了一系列小模型，表现非常突出。这很大程度得益于R1模型足够强大，发 现了很多高阶 算法：从语言反馈中 学习范式，提升任意 到任意模态生成与理 解任务的对齐表现 模态统一范式：从语言反馈中学习 Learning from Language Feedback（LLF） 利用信息更丰富的多模态偏好数据实现更准确且细粒度的人类偏好对齐 52 模态统一范式：从语言反馈中学习 Learning from Language Feedback（LLF） ➢ 通过语言反馈（LLF）合成的

，从而具备了强大的语言理解 和生成能力。 它能够理解自然语言 ，并能够生成自然语言文本 n 字节跳动豆包 豆包是字节跳动基于云雀模型开发的 AI ， 能理解你的需求并生成高质量 回 应。 它知识储备丰富 ， 涵盖历史、 科学、 技术等众多领域 ， 无论是日 常问 题咨询 ， 还是深入学术探讨 ， 都能提供准确全面的信息。 同时 ， 具备 出色 的文本创作能力 能撰写故事 诗歌 文案等各类体裁 机器人或其他形式的 系统 ，具备一定的自主性和智能性 智能体（ AI Agent ） ，又称“人工智能代理” ，是一种模 仿人类智能行为的智能化系统 ， 它就像是拥有丰富经验和 知识的“智慧大脑” ，能够感知所处的环境 ，并依据感知 结果 ， 自主地进行规划、 决策 ，进而采取行动以达成特定 目标。 简单来说

Restricted Distribution DeepSeek 9 大模型从技术摸高走向技术摸高 + 工程创新并行 ，训练需求持续增 长 ① 技术摸高：头部玩家将战略坚定投入预训练基础模型创新，丰富模型组合，追逐 Scaling Law ，加速探索 AGI ② 工程创新：新的范式降低后训练和蒸馏门槛，模型效果大幅提升， 出现平权现象，引发新一波的“百模千态” 2012 2013