智能对话系统中的个性化（31页PPT-吾来）

微信扫码，打开到小程序

智能对话系统中的个性化 胡一川 来也联合创始人 &CTO . 2000-2007 ：清华大学本硕 . 2008-2011 ：宾夕法尼亚大学博 士 . 2011-2012 ：今晚看啥联合创 始人 . 2013-2015 ：百度资深架构 师 . 2015 至今：来也联合创始人 &CTO 个人简介 胡—川 让每个人拥有助理 六百万用户正在使用的对话式在线个人助理服务 • 理解 - 交互 - 咨询 - 任务完成，实现交易闭环 • 日均需求会话数超百万， AI 交互占比 98% • 对接超过 150 个服务商，日程 AI 准确率 99% • 主动交互 DAU 及新增用户数维持高速自增长 领先的企业智能助理 智能对话解决方案赋能企业提升效率 • 具有 AI 能力的机器人平台和智能对话解决方案 • 基于大数据挖掘的用户画像，实现个性化推荐 • 超过 95% 的 AI 准确率，人效优化 60% • 2-3 倍的销售转化率提升 来也专注于智能对话技术 2 、用对话机器人 替代人工 . 在线客服 . 智能 IVR . 智能外呼 3 、用对话机器人 提升效率和体验 . 智能营销 . 智能推荐 . 智能下单 1 、自然对话是唯 一的交互方式 . 车载 . 智能音箱 . 可穿戴设备 适合智能对话系统的场景 . 用户希望得到特定问题的答案 . 机器人回复来自特定领域的知识 库 . 以准确率为评估指标 . 用户希望完成特定的任务 . 机器人通过多轮对话满足用户需 求 . 以需求完成率为评估指标 . 用户没有明确目的 . 机器人也没有标准答案 . 以相关性、趣味性为评估指标 任务型对话 闲聊 问答型对话 帮我订张机票 我好无聊啊 什么是人工智能？ s 种不同的对话类 型 知识库 基于知识库的智能问答 知识库由若干个知识点组成， 每个知识点都包含若干个 语 义相同的问题，这些问 题可 以被同样的答案来回 答。 问答机器人将用户的问题匹配 到知识库中最相近的知识点上， 用该知识点的答案回答用户。 如何成为会员 • 怎么注册会员 • 我想成为会员 • 会员怎么申请 会员有什么权益 • 会员有特权吗 • 会员能干什么 • 会员有啥好处 怎么查询积分 • 我有多少积分 • 如何查看积分 • 哪里能查积分 问答机器人 机器人回答 命中知识点“如何查询积分” 用户问题 怎么看还剩多少积分 • 基本思路 • 每个知识点是一个分类 • 将整个知识库作为训练数据 • 传统机器学习模型 • TFIDF + LR • n-gram + Adaboost • 神经网络模型 • LSTM • CNN • fastText 知识库 分类 2 基于分类模型的问答系统 分类器 分类 1 分类 3 训练分类器 分类结果 用户问题 • 检索 • 以知识库中的问题为粒度建立索引，每 个 问题都对应一个知识点 • 对用户问题进行分词、去停用词、同义 词 扩展等操作 • 返回知识库中若干个相关性最高的问题 对 应的知识点 • 排序 • 通过一个语义匹配模型计算用户问题和 检 索返回问题的语义相似度，选择语义 相似 度最高的问题对应的知识点 基于检索和排序的问答系统 排序 知识库 检索 检 索结果 最终结果 用户问题 句向量 编码器 向量搜索 知识库 基于句向量的语义检索 检索结果 命中知识点“如何查询积分” 怎么看还剩多少积分 知识点 1 知识点 2 知识点 3 用户问题 • 通过标注数据训练句向量编码器 • 标注数据为句对：语义相同的句对、语义不同的句 对 • 句向量编码器的结构： Bi-LSTM + max-pooling • 向量搜索使用 Faiss 句向量编码器和向量搜索 [Conneau 2017] • 问答的本质是找到和用户问题语义匹配的知识点 • 基于分类模型的问答系统效果好，但需要较多的训练数据， 且重新训练的成本较高 • 基于检索和排序的问答系统能较好的弥补以上问题，但仍 然 存在检索召回问题 • 基于句向量的语义检索能实现在全量数据上的高效搜索， 从 而解决传统检索的召回问题 • 实际系统中会根据具体情况选择不同的方案 问答型对话技术小结 任务型对话 . 用户希望完成特定的任务 . 机器人通过多轮对话满足用户需求 . 以需求完成率为评估指标 帮我订张机票 . 用户希望得到特定问题的答案 . 机器人回复来自特定领域的知识 库 . 以准确率为评估指标 . 用户没有明确目的 . 机器人也没有标准答案 . 以相关性、趣味性为评估指 标 闲聊 问答型对话 我好无聊啊 什么是人工智能？ s 种不同的对话类 型 • Automatic speech recognition (ASR) • 将语音信号转为文本 • Natural language understanding (NLU) • 将文本映射成结构化的语义表示 • Dialogue management (DM) • 维护对话状态并决定系统动作 • Natural language generation (NLG) • 根据系统动作生成自然语言 • Text-to-speech synthesis (TTS) • 基于自然语言生成语音信号输出 任务型对话系统的架构 User Input NLU Dialog State User Dialog Act DM 任务型对话系统中的 NLU 和 DM System Dialog Act User Dialog Act • 每一个状态都对应一个系统动作 • 状态之间的跳转以用户当前输入为条件 • 通过有限状态机将 ( 当前状态 , 用户输入 ) 映射到下一 状态 • 只适合特定的对话类型 • 状态太多时难以维护 基于有限状态机（ Finite State Machine ） 的对话管理 [Pilson 2014] • Frame 是槽位（ Slots ）的集合，定义需要用户提供什么信 息 • 对话状态：哪些槽位已被填充 • 动作选择：下一步该填充哪个槽位 • 难以应对复杂的场景 • 缺少层次 基于帧（ Frame ）的对话管 理 • 对 Frame 进行改进，支持树状的层次结构 • 树中的节点称为 handler ，用于理解并处理用户输 入 • 从左到右、深度优先遍树中的 handler • 树的结构可动态调整，支持话题切换、回退、退出 基于计划（ Agenda ）的对话管 理 [Rudnicky 1999] • 通过神经网络将对话上文映射到系统动作，无需显示定义对话状 态 • 网络的输入是 NLU 结果和上一步系统动作 • 网络的输出是下一步系统动作的概率分布 • 可通过有监督学习或强化学习的方法训练 • 需要大量真实的、标注的对话数据 基于深度强化学习的对话状态跟踪 [Williams 2016] • 任务型对话将用户的输入和系统的输出都映射为对话动作 • 通过对话状态来实现上下文的理解和表示 • 对话管理模块是任务型对话的大脑，它决定系统动作并维 护 和更新对话状态 • 传统的对话管理方法包括基于 FSM 、 Frame 、 Agenda 的， 适用于不同的场景 • 基于统计的对话管理方法更加灵活，但需要大量真实的、 标 注的对话数据来训练 任务型对话技术小结 闲聊 . 用户没有明确目的 . 机器人也没有标准答案 . 以相关性、趣味性为评估指标 我好无聊啊 . 用户希望得到特定问题的答案 . 机器人回复来自特定领域的知识 库 . 以准确率为评估指标 . 用户希望完成特定的任务 . 机器人通过多轮对话满足用户需 求 . 以需求完成率为评估指标 任务型对话 问答型对话 帮我订张机票 什么是人工智能？ s 种不同的对话类 型 检索式的闲聊对话系统 [Zhou 2016] 生成式的闲聊对话系统 [Huang 2016] • 通常以来自互联网的大量句对作为训练数据 • 有检索式和生成式两大类方法 • 检索式的方法效果可控，但缺乏多样性 • 生成式的方法使用更灵活的框架，可以对生成的对话进行 更 好的控制 闲聊型对话技术小结 机器人需要有不同的情感 • 用户：今天真倒霉，早上 特别堵，上班又迟到了 • 机器人（关心）：没事没 事，别放在心上 • 机器人（气愤）：最近交 通真是太差了！ 机器人需要有统一身份属性 • 用户：你多大了？ • 机器人：我是 90 后 • 用户：你是哪年的？ • 机器人：我是 1985 年的 • 用户：？？？ 智能对话系统中的个性化 • 机器人的回复不仅在内容上有相关性，在情绪上也要有一致 性 • 将回复的情绪分为不同类型，作为特征进行训练 • 生成时可根据不同情绪生成不同回复 对话机器人的个性化 - 情 绪 [Zhou 2018] 对话机器人的个性化 - 情 绪 [Zhou 2018] 对话机器人的个性化 - 身份属 性 [Qian 2018] • 机器人的身份属性在对话过程中要保持一致 • 姓名、性别、年龄、爱好等等 • ⽤ Profile Detector 判断回复中是否需要包含身份属性 • 根据身份属性来生成回复 对话机器人的个性化 - 身份属 性 [Qian 2018] . 行程路线 . 厦门半天的行程路线 . 求推荐厦门 3 到 7 日景点游线路 . 交通出行 . 到云水谣什么交通方式最方 便 . 去鼓浪屿快艇上岛的费用？ . 景点问答 . 去日光岩看日出需要买门票 吗 . 寂庄花园开放时间？ . 酒店住宿 . 晚上到厦门本站住哪里方便 第 二天去鼓浪屿？ . 旅游问答 . 厦门景点门票有教师证优惠吗 . 鼓浪屿可以露营吗？ . 季节天气和穿衣 . 十一月厦门天气和穿衣指数？ . 美食购物娱乐 . 厦门当地抽什么烟？ 旅游目的地对话机器人 视频 demo • 一句话点餐 • 要一份巨无霸单点加大可乐 • 多轮对话澄清 • 澄清份数、套餐大小等 • 支持多意图 • 下单、清空、替换等 麦当劳语音点餐机器人 视频 demo 谢谢大家