的内部表征？ ➢ 经过安全对齐的模型可以在经过最小化的微调后再次变得不安全； ➢ 在非恶意数据集上微调对齐的语言模型可能会削弱模型的安全机制； ➢ 不仅限于安全，这种“假象对齐”表明模型可能会内在执行对齐的逆操作。大模型存在会逆转或撤 销对齐过程的可能性，这一概念我们称之为逆向对齐（Inverse Alignment）。我们进一步探究了： 语言模型的参数是否表现出弹性，从而抗拒对齐？ Do 长度变化量𝒙成线性关系，即：𝑭 = −𝒌𝒙， 弹力系数𝒌 ，弹力与其形变方向相反，表 示它有使系统不改变的趋势; 模型是否具有与 弹簧类似的属性 从而抗拒改变？ 𝑝𝜃’ 𝑝𝜃 从最简单的弹簧系统建模，探究大模型内在抗拒对齐的机理 ➢ 弹力系数𝒌：表示为大模型本身性质，与模型参数量和预训练数据相关； ➢ 长度变化量𝒙：表示对齐前后的模型的变化，一般用KL散度刻画； ➢ 弹力𝑭：对齐后的模型抗拒发生分布改变，产生恢复预训练分布的“弹力”； 算法设计/评估与模型评估等，应当从模型的内在机理出发； ① 预训练阶段和对齐阶段不应当各自独立； ◆ 预训练模型抗拒对齐，如何在预训练阶段为对齐阶段提供一个具备可塑性分布帮助微调； ◆ 如何确保对齐初始模型弹性系数更小（抗拒更小），弹性限度更大（对齐空间更大）； ② 模型评估应该更关注模型内在表征的对齐； ◆ 表面的对齐训练很容易被撤销，对齐算法应当修改模型的内在表征，而非进行表面的对齐； ◆ 在

无缝连接 可视化 按需推送 智慧 教育 核心 特征 全向交互 智能管控 12 情境感知 情境感知是智慧教育最基础的功能特征，依据情 境感知数据自适应地为用户提供推送式服务。 13 内在 个人学习状态感知内容 外在学习环境感知内容 感知学习者的专业知识背景； 感知学习者的学习状态，如 焦虑、烦躁、开心等； 感知学习者的知识背景、知 识基础、知识缺陷等； 感知学习者的认知风格、学