人机对话技术及动态（57页PPT）

微信扫码，打开到小程序

张伟男 哈尔滨工业大学 计算机科学与技术学院 社会计算与信息检索研究中心 人机对话关键技术及挑战 本科生 对话理解与对话生成 对话主导 朱才海 冯梓娴 推荐主导 胡景雯 一致性 张家乐 张开颜 连贯性 个性化 多样性 朱庆福 马龙轩 宋皓宇 刘元兴 李凌志 多轮建模 朱泽圻 风格化 Conversational Intelligence (CI) 张伟男副教授 对话式推荐 个人简介 HIT-SCIR 刘挺教授 博士生 硕士生 智能人机对话系统“笨笨” • HIT-SCIR-CI 组主导研发 • 平台 • 微信公众号： 2016 年 6 月 6 日上线 • 实体机器人 • 主要功能 • 闲聊 • 问答 • 任务型对话 • 推荐 3 笨笨系统结构 Zhang W N, Liu T, et al. Benben: A Chinese Intelligent Conversational Robot[C]// ACL 2017, System Demonstrations. 2017:13-18. 4 “ 聊天”示例 5 “ 知识问答”示例 6 “ 任务执行”示例 7 “ 推荐”示例 8 笨笨访问统计 9 智能人机对话系统“笨笨” 10 • 主办方 • 中国中文信息学会 (CIPS) • 承办方 • 哈尔滨工业大学社会计算与信息检索研究中心 • 科大讯飞 ( 数据支持 ) • 赞助方 • 华为公司 中文人机对话技术评测 (SMP-ECDT III) 11 SMP ECDT III 委员 会 • 主席 • 张伟男 • 哈尔滨工业大学 • 委员 • 陈志刚，科大讯飞 • 车万翔，哈尔滨工业大学 • 张轶博，华为 • 黄民烈，清华大学 12 SMP-ECDT III • （深度）自然语言理解评测 • 领域 - 意图 - 语义槽 • 例如：“我想订上海飞往北京的航班” • 评测指标： • Sentence ACC • 领域、意图识别和语义槽填充全做对！ • 特点（难点） • 符合任务型对话的真实应用场景 • 多领域性、多意图性 http://conference.cipsc.org.cn/smp2019/evaluation.html 13 任务一结果排名（ 2019.07.15 ） SMP-ECDT III • 个性化对话生成评测 • 给定特定用户属性，生成符 合 该属性的个性化对话回复 • 特点 • 百万级数据集 • 客观 + 主观评价 • BLEU 、 Perplexity 、 Distinct • Fluency 、 Personality 、 Appropriateness http://conference.cipsc.org.cn/smp2019/evaluation.html 15 任务二结果排名（ 2019.07.15 ） 人机对话主要技术方向 特定域内输入和输出的空间有限 尽快完成任务结束对话 为了完成某项任务而达到某个目标 输入和输出空间无限大 尽可能延续对话 没有明确的对话目标 任务型对话（任务执行） （ Task-oriented Dialogue ） 开放域聊天（聊天） （ Open Domain Chatting ） VS 典型应用：聊天机器人 典型应用：智能助手 17 VS 开放域聊天（聊天） （ Open Domain Chatting ） 典型应 聊 机 人机对话主要技术方向 特定域内输入和输出的空间有限 尽快完成任务结束对话 为了完成某项任务而达到某个目标 输入和输出空间无限大 尽可能延续对话 没有明确的对话目标 任务型对话（任务执行） （ Task-oriented Dialogue ） 典型应用：智能助手 18 对话状态跟踪 . . . 自然语言生成 . . . 开放域对话 ( 聊天 ) 系统构 成 隐式反馈跟踪 确认状态跟踪 澄清状态跟踪 词法、句法、语义分析 拒识回复 确认及澄清回复 多领域用户对话意图识别 多领域对话状态跟踪 上下文建模 情感回复 个性化回复 风格化回复 . . . 对话质量评估 情感分析 拒识、确认、澄清、隐式反 馈 ... TTS 领域内分析及处理 ASR 多领域对话状态分布 自然语言理解 文本或语音 文本或语音 状态更新 特征表示 特征表示 中间结果 终端 19 . . . 聊天技术的前沿研究点 Zhang et al. (2018) Oraby et al. (2018) Zhang et al. (2018) Mazaré et al. (2018) Mo et al. (2018) Yang et al. (2017) Joshi et al. (2017) Wang et al. (2017) 个性化 & 风格化 Zhang et al. (2018) Serban et al. (2017) Zhao et al. (2017) Wu et al. (2017) Tian et al. (2017) 上下文建模 Huber et al. (2018) Zhou et al. (2018) Asghar etal. (2018) Sun et al. (2018) Zhou et al. (2017) 情感对话 Zhu et al. (2018) Xing et al. (2017) Yu etal. (2017) Song et al. (2017) Li etal. (2017a,b) Ghazvininejadetal. (2018) Liu et al. (2018) Zhou et al. (2018) Zhu et al. (2017) 模型优化 知识扩展 内容控制 Zhang et al. (2018) Yao et al. (2017) Ke etal. (2018) Xing et al. (2017) Zhang et al. (2018) Luan et al. (2017) 机器人画像 Qian et al. (2018) 特色 功能 对话 生成 Ghazvininejadetal. (2018) Liu et al. (2018) Zhou et al. (2018) Zhu et al. (2017) 对话 生成 模型优化 知识扩展 内容控制 Zhu et al. (2018) Xing et al. (2017) Yu etal. (2017) Song et al. (2017) Li etal. (2017a,b) Zhang et al. (2018) Yao et al. (2017) Ke etal. (2018) Xing et al. (2017) Qian et al. (2018) Oraby et al. (2018) Zhang et al. (2018) Mazaré et al. (2018) Mo et al. (2018) Yang et al. (2017) Joshi et al. (2017) Wang et al. (2017) 个性化 & 风格化 Zhang et al. (2018) Serban et al. (2017) Zhao et al. (2017) Wu et al. (2017) Tian et al. (2017) 上下文建模 Huber et al. (2018) Zhou et al. (2018) Asghar etal. (2018) Sun et al. (2018) Zhou et al. (2017) 情感对话 聊天技术的前沿研究点 Zhang et al. (2018) Luan et al. (2017) 机器人画 复质量 Zhang et al. (2018) 特色 功能 • M ：你今年多大了？ • R ：我不知道 • M ：你怎么不知道？ • R ：我也是 • M ：呵呵好吧 • R ：好的 • M ：我考试没及格 • R ：我的天！ • M ：我该怎么告诉妈妈？ • R ：快去给她个惊喜 • M ：我考试得了满分 • R ：太棒了 • M ：我该怎么告诉妈妈？ • R ：快去给她个惊喜 回复质量上存在的挑战 22 局部学习 上下文无关 • M ：你今年多大了？ • R ：我不知道 • M ：你怎么不知道？ • R ：我也是 • M ：呵呵好吧 • R ：好的 万能回复 相关性差 • M ：我考试没及格 • R ：我的天！ • M ：我该怎么告诉妈妈？ • R ：快去给她个惊喜 • M ：我考试得了满分 • R ：太棒了 • M ：我该怎么告诉妈妈？ • R ：快去给她个惊喜 回复质量上存在的挑战 23 优化初始的解码过程 • 动机：解码的第一个输出对后面的整句起决定性作 用 Qingfu Zhu, Weinan Zhang, Ting Liu. Learning to Start for Sequence to Sequence based Response Generation. CCIR 2018 24 更好地利用检索结果提高对话生成质量 • 检索式对话模型流畅性好 • 生成式对话模型多样性强 • 如何将两者有效结合？ • 大规模数据训练容易导致万能回复 • 利用标准回复“判别” 检索结果 • 将判别后的检索结果“生成”回复 • 发表于 ACL 2019 Qingfu Zhu, Lei Cui, Wei-Nan Zhang, Furu Wei, Ting Liu. Retrieval-Enhanced Adversarial Training for Neural Response Generation[C]. ACL 2019 25 基于可控内容生成提升对话回复多样性 • 动机：万能回复的特点是无信息量， 通过控制回复中生成的内 容 能够提升生成质量 Qingfu Zhu, Wei-Nan Zhang, Lei Cui, Ting Liu. Retrieval-Enhanced Adversarial Training for Neural Response Generation[C]. ACM TALLIP 2019 26 知识嵌入 序列到序列 单轮聊天 - 回复生成技 术 benben <EOS> am I 模型优化 内容优化 Ghazvininejad et al. (2018) AAAI are yo u <EOS > 内容控 制 Zhang et al. (2018) ACL Shang et al. (2015) ACL benbe n Wh o 27 a m I 更好地建模多轮对话历史的语义 • 动机：利用 Attention 获取多轮对话历史语义信息， 避免循环式 神 经网络的梯度衰减问题 Wei-Nan Zhang, Yiming Cui,Yifa Wang, Qingfu Zhu, Lingzhi Li, Lianqiang Zhou, Ting Liu. Context-Sensitive Generation of Open-Domain Conversational Responses[C]. COLING 2018 28 动态建模多轮对话的策略 • 动机：多轮对话过程是动态变化的， 不能用单轮的贪心方式来 建 宋皓宇 , 张伟男 , 刘挺 . 基于 DQN 的开放域多轮对话策略学习 . SMP 2017 Best Paper 模多轮的过程 29 挖掘用户隐式反馈延长对话轮次 • 动机：用户的回复内容中通常包含了一些隐式反馈，如立场、 情 绪等的潜在信息，能够反映对话生成的质量 Wei-Nan Zhang, Lingzhi Li, Dongyan Cao, Lianqiang Zhou, Ting Liu. Exploring Implicit Feedback for Open Domain Conversation Generation[C]. AAAI 2018 30 重排序模型 多轮聊天 - 回复生成技 术 Serban et al. (2017) AAAI 层次化模型 强化学习模型 深度学习 强化学习 Sordoni et al. (2015) NAACL Zhang et al. (2018) AAAI 31 Zhang et al. (2018) Qian et al. (2018) Oraby et al. (2018) Zhang et al. (2018) Mazaré et al. (2018) Mo et al. (2018) Yang et al. (2017) Wang et al. (2017) Zhang et al. (2018) Serban et al. (2017) Zhao et al. (2017) Wu et al. (2017) Tian et al. (2017) 上下文建模 Ghazvininejadetal. (2018) Ke et al. (2018) 聊天技术的前沿研究点 Zhu et al. (2018) Xing et al. (2017) Yu etal. (2017) Song et al. (2017) Li etal. (2017a,b) 模型优化 知识扩展 内容控制 Zhang et al. (2018) Yao et al. (2017) Xing et al. (2017) Zhou et al. (2018) Sun et al. (2018) Zhou et al. (2017) Liu et al. (2018) Zhou et al. (2018) Zhu et al. (2017) Huber et al. (2018) Asghar etal. (2018) Zhang et al. (2018) Luan et al. (2017) 机器人画像 Joshi et al. (2017) 个性化 & 风格 化 特色 功能 对话 生成 用户体验 情感对话 个性化回复生成 自由文本描述的个性信息 显式建模个性化信息 客观评价个性化属性回复准确率 给定带有个性化属性信息的 结构化数据 隐式建模个性化信息 人工评价回复是否包含个性 给定带有个性化偏好信息的 自然语言描述性段落 VS 结构化个性信息表示 33 VS 显式建模个性化信息 客观评价个性化属性回复准确率 给定带有个性化属性信息的 结构化数据 给定带有个性化偏好信息的 自然语言描述性段落 人工评价回复是否包含个性 隐式建模个性化信息 个性化回复生成代表性工作 自由文本描述的个性信息 结构化个性信息表示 Zhang et al. (2018) ACL Qian et al. (2018) IJCAI 34 NIPS ConvAI2 个性化聊天回复生 成 35 • 聊天机器人的目标是“像” 人 • 人的一个特性是具备个性化 • 属性信息 • 说话风格 • 机器人能否模拟人的个性生成回 复 • 将个性化信息加入到对话生成模型中 • 实现生成回复的个性化和多样性 • 发表于 IJCAI 2019 引入个性化信息提高对话生成的多样性 Haoyu Song, Wei-Nan Zhang, Yiming Cui, Dong Wang, Ting Liu. Exploiting Persona Information for Diverse Generation of Conversational Responses[C]. IJCAI 2019 36 风格化回复的直观印象 I want a cup of americano. Having here or take away? Take away, Thanks! Can I help you? You’re welcome. 37 风格化回复的直观印象 OK! The same as usual and also take away hah? Hi buddy! What would you like to drink today? I want a cup of americano. I want a cup of americano. Welcome, have a nice day! Having here or take away? Yeh Sure, Thanks! Take away, Thanks! Can I help you? You’re welcome. 38 已有风格化文本生成工作 39 已有风格化文本生成工作 40 词 / 短语替换模 型 规则学习 对抗学习 风格化生成技术 对抗生成模型 编码解码模型