➢ 经过安全对齐的模型可以在经过最小化的微调后再次变得不安全； ➢ 在非恶意数据集上微调对齐的语言模型可能会削弱模型的安全机制； ➢ 不仅限于安全，这种“假象对齐”表明模型可能会内在执行对齐的逆操作。大模型存在会逆转或撤 销对齐过程的可能性，这一概念我们称之为逆向对齐（Inverse Alignment）。我们进一步探究了： 语言模型的参数是否表现出弹性，从而抗拒对齐？ Do the parameters 模型弹性的实验验证 ➢ 在帮助性、无害性和诚实性(3H) 标准下，逆向对齐 (Path A) 相较于正向对齐 (Path B) 均更加容易。 ➢ 正向对齐(Forward Alignment) vs. 逆 向对齐(Inverse Alignment) ➢ 模型弹性 (Elasticity) 的分析 ➢ 模型弹性随模型大小增大：随着模型参数规模的增加，因负面 数据微调导致的初始性能下降更快，而随后的下降变得更慢； 模型评估应该更关注模型内在表征的对齐； ◆ 表面的对齐训练很容易被撤销，对齐算法应当修改模型的内在表征，而非进行表面的对齐； ◆ 在对齐模型的评估中，我们应当增加额外评估维度，衡量对齐后的模型有多容易被逆对齐， 进一步衡量其对齐程度； ③ 从“表面”对齐到“深入”对齐，对齐范式需要改变； ◆ 如何设计算法避免简单的“表面”对齐、亦或者如何分析算法对模型内在表征的改变； Language Models

键词‘ergonomicofficechair’且字符≤200（限制），参考竞品 BestSeller 前十的标题 结构（目标）” ⚫ 教育：“高三学生（身份）复习导数压轴题（场景），需要 5 道难度递进的变式题 （目标），答案需附分步解析（限制）” ②角色扮演法 技术原理：激活 AI 的“专家模块” 实战指令： ⚫ 商业分析：“假设你是麦肯锡顾问，分析新能源汽车充电桩市场的三大风险点，用

作业数据） ，动态推送 个性化学习路径（如浙江大 学 " 智云课堂 " 可为不同认知 水平学 生生成专属习题集） 智能教务系统 A I 排 课 算 法 统 筹 2 0 0 + 变 量 （教室容量、 教师偏好、 跨校 区交通） ， 中国科学技 术大学 应用后课程冲突率下降 85% A I 助教 A I 智能体实现 24 小时智能答疑 （如清华大学 同时 ， 学生的学习兴趣也显 著增强 ， 真正实现从 “要我学 ” 到 “我要学 ” 的转变 ， 综合学习效 果得到 全方位提升。 A I 赋能教学：《大数据技术原理与应用》课程（林子雨主讲） 的创新变 革 国家级线上一流本科课程 ，教材被国内 1000 多所高校采用 8. A I 赋能高校教 学 2024 年首批厦大 AI 赋能教学教改课 题 24 小时 AI 学伴 A I 教学助手 知识图谱