3.5 大模型原理 3.6 大模型产品 3.7 大模型应用领 域 厦门大学大数据教学团队作品 大模型通常指的是大规模的人工智能模型 ，是一种基于深度学习技术 ，具 有 海量参数、强大的学习能力和泛化能力 ，能够处理和生成多种类型数据的 人 工智能模型。 通常说的大模型的“大”的特点体现在： 2020 年 ， OpenAI 公司推出了 GPT-3 ，模型参数规模达到了 1750 亿。 2023 训练数据量大 计算资源需求高 参数数量庞大 大模型的设计和训练旨在提供更强大、 更准确的模型性能 ， 以应对更复杂、 更庞大的数据集或任务。 大模型通常能够学习 到 更细微的模式和规律 ，具有更强的泛化能力和表达能力 学习能力强 大模型可以从大量的数据中学习， 并利用学到的知识和模式来提供 更精准的答案和预测 。这使得它 们在解决复杂问题和应对新的 场 景时表现更加出色 的大模型 。 它们利用大算力、使 用 海量的开放数据与具有巨量参 数的 深度学习算法，在大规模无 标注数 据上进行训练， 以寻找特 征并发现 规律 ，进而形成可“举一 反三” 的强 大泛化能力 ，可在不 进行微调或少 量微调的情况下完 成多场景任务 ， 相当于 AI 完成 了“通识教育” 行业大模型 L1 是指那些针对特定行业或领域的大 模型 。 它们通常使用行业相关的 数

技术在工业领域的应用，它通过机器学习、深度学习、计算机视觉等先进的计算智能方法，实现对工业生产 过程的优化和智能化，最终帮助企业提高生产效率、降低成本、提升产品质量，实现数字化转型。 2023 年 12 月，由信通院牵头、多家单位联合编制的《工业大模型技术应用与发展报告》指出，AI 与大模型将加速赋能新型 工业化，预计从 2022 年至 2032 年，工业 AI 市场规模将以 46% 的年均复合增长率高速成长。 理海量数据、完成各种复杂的任务，如自然语言处理、计算机视觉、语音识别等。大模型通常包括大语言模型 (LLM)、视觉 大模型 (CV)、多模态大模型等各种类型。 大模型通过训练海量数据来学习复杂的模式和特征，具有更强大的泛化能力，可以对未见过的数据做出准确的预测，能够处 理更加复杂的任务和数据。 展开来讲，大模型技术有以下几项基本特征： 1. 普遍基于 Transformer 架构。Transformer 架构通过引入自注意力 架构在模型训练和推理时的并行处理能力更强，效率更高。 2. 参数规模大。大模型通常包含数千万、数亿甚至更多参数；巨大的参数规模使大模型能够处理更加复杂和多样的任务。 3. 强大的泛化能力。大模型通过在大规模数据集上进行训练，学习到了丰富的知识和特征表示，从而具有强大的泛化能力， 能够有效处理多种从未见过的数据或新任务，甚至能处理一些与训练数据截然不同的任务。这使得大模型能应用于多种任 务和场景，具有广泛的适用性。 4

智慧教 育 已 成 马来西亚 1999 年“智慧学校 计划” 2010 年将所有学 校都转型为智能学 校 台湾桃源县 “ 智慧台湾 U 桃园 计划” 从 e 化教育向 u 化 教育（泛在教育） 美国 IBM 智慧教育解决 方案：教育数据的 收集、管理与分析， 为学习者提供独特 的学习体验，教学 制度优化 7 智慧教 育 智 慧 教 育 什么是智慧教育？ 在信息化基础之上建构的信息时代的教育新秩序，是信 情境感知 感知教与学活动实施的物理位 置信息； 感知教与学活动发生、进行与 结束的时间信息； 感知教与学活动场所的环境信 息，如温度、湿度等； 14 无缝连 接 泛在网络是智慧教 育开展的基础，基 于泛在网络的无缝 连接是智慧教育的 基本特征。 15 无缝连接 为特定学习情景建立 学习社群，为学习者 有效联接和利用学习 社群进行沟通和交流 提供支持 无缝切换 无缝切换 可视化是信息时代数据处理与显示的必然趋势，是 智慧教育观摩、巡视、监控的必备功能，是智慧教 育系统的重要特征。 • 可视化监控 • 可视化呈现 • 可视化操作 智慧技术创新应用 21 物联网 大数据 云计算 泛在网络 ① ② ③ ④ 23 物联网 创 新 学生体质健康 监测 学习情境数 据采集 拓展课外教 学活动 教育安全监 控与危机快 速处理 教学设备管 理 05/06/2025

Base \ DeepSeek-R1 Zero 及 R1 细节分析 ➢ RL 算法的创新：GRPO及其技术细节 ➢ DeepSeek-R1 背后的Insights & Takeaways：RL加持下的长度泛化 \ 推理范式的涌现 ➢ DeepSeek-R1 社会及经济效益 ➢ 技术对比探讨 ➢ STaR-based Methods vs. RL-based Methods 强推理路径对比 (DS-R1 ➢ 未来后训练的重心会逐步倾向于RL，但是少量训练用于SFT可能还是必须的 ➢ 强化学习技术不只局限在基于规则的数学、算法代码等容易提供奖励的领域，它还可以创造性 地把强化学习所带来的强推理能力，泛化到其他领域 20 DeepSeek-R1 技术剖析：背后的教师模型 DeepSeek-V3 ➢ 基座模型 (DeepSeek-V3 Base) 超过了某个质量和能力阈值（671B 在14.8T \ 使用 Multi-head Latent Attention (MLA) 架构 ➢ 2048张 H800 计算: ~54天 21 DeepSeek-R1 技术剖析：RL 加持下的 Length 泛化&推理范式涌现 ➢ 大规模RL的加持下，DeepSeek-R1 Zero 表现出在推理任务上思维链长度的自然增长和涌现 ➢ 反思深度逐层加深，出现标记不明确的步骤、保持中间结论、验证、混合语言推理等现象

中国 AI 公司首次以关键创新贡献者的身份加入到全 球 AI 竞争中，冲击美国 AI 霸权 • 打破 NV+OpenAI 的资金、技术、人才的垄断，全球 重新思考中美技术路线的选择 泛化性和经济性大幅提升 LLM 进入“ CV Resnet 时刻” 补齐最后一块自主创新的版图 真正形成中美两条 AI 技术路 线 AI 框架：昇思、飞桨 … 异构计算架构： CANN … 硅基流动一体机 伙伴 元景一体机 25Q1 25Q1 昇腾与 PyTorch 开源社区紧密合作， 共促 AI 生态创新发展 华为在计算机视觉、自然语言处理、语音识别等领域进行了广 泛的研究，并且在大模型领域也积累了成熟的研究经验。我们 相信 PyTorch 基金会将从他们对我们的成员和生态系统的支 持 中受益匪浅。 —— PyTorch 基 金 会 执 行 董 事 Ibrahim

6*106 DeepSeek V3 公开的单次极低预训练成 本 DeepSeek 全部训练单次成本： 5,576,000 美 元 单张 H800 GPU 每小时租赁成本： 2 美 元 泛大 模型 / 指标 DeepSeek V1 DeepSeek V2 DeepSeek V3 Llama 3.1 发布时间 2024 年 1 月 2024 年 6 月 2024 年 12 月 2024