深度学习在智能助理产品中的应用（20页PPT-吾来）

微信扫码，打开到小程序

深度学习在智能助理产品中的应用 胡一川 结束语 . 提升智能助理产品的可靠性 . 智能助理产品的特点 . 深度学习与智能助理 目 录 用户终端的变化和技术的进步，推动更自然的人机交 互方式及产品形态 通过理解文本或语音形式 的自然语言来协助用户完 成需求的软件应用或平台 2000s PC 键盘 & 鼠 标 网站 时间 设备 交互方式 产品形态 2020s IoT 自然语言 在线助理 2010s 手机 触摸 APP ■ 从在线客服到在线助 理 • 在线助理：专属化的 体 验，基于用户画像， 提 供更个性化的服务 • 在线客服：短期的基 于 单一 目的的服务 • 在线助理：更主动的 提 醒，状态问询，精 准推 送，洞察建议等 • 在线客服：简单的被 动 响应，一问一答 • 在线助理：专业咨询、 售前交互、售后服务、 行业洞察等 • 在线客服：以售后服 务 为主 更主动的 双向交互 更丰富的 价值场景 更长期的 伙伴关系 1,800 基于人工智能与自然语言处理技术的在线智能助理产 品用户不断增加 虚 拟 个 人 助 理 (VPA) 将改变手机 用户与设备的互动 方式 ，并成为日常 生活的一部分 。 到 2019 年 ，全球 20% 的智能手机 用户将 通过虚拟 个人助理 进行交互。 全球在线智能助理用户数增长预测 Unique Active Enterprise VDA Users Unique Active Consumer VDA Users 2,000 1,800 1,600 1,400 1,200 1,000 800 600 400 200 0 • AI, NLP 等技术加速创新 • 以 GPU 为代表的算力提 升 基础设施 不断完善 自然交互 广泛应用 底层技术 不断成熟 • LBS 、移动支付全面普 及 • 服务从线下到线上 • IM 主导移动互联网 • 智能设备数量不断增 长 Number of Users (million) 2015 2021 843 390 155 秘书服务 母婴用品 教育 旅游度假 护肤彩妆 汽车服务 租房售房 法律咨询 珠宝配饰 在重视在线交互的场景中，智能助理能够提升沟通效 率和用户体验，创造商业价值 在 场景示例 线 （非穷尽） 交 互 需 求 度 鞋类箱包 日用百货 食品 家电数码 物业服务 家政维修 家居家纺 闲聊 领域知识专业度 医疗健康 金融理财 IOT 助 手 服装 我们利用人工智能技术打造了两款核心产品，提高客 户沟通效率和提升商业价值 提供语义、对话、推荐等技术解决方案 ，赋能企业和 专业人士 ，打造智能行业助理 • 通过具有 AI 能力的智能交互系统 ，提升专业人 士 的服务效率和服务水平 通过微信服务号为用户提供一站式、对话式的在线私 人助理服务 • 通过理解 - 交互 - 咨询 - 任务等环节 ，完成交易闭 环 个性化的需求如何更高效的被满足？ 如何提升基于交互的服务效率和服务体验？ 任务型对话机器人 商业智能 智能分组推送 个性化推荐 知识库 问答型对话机器人 领先的知识型交互机器人 最懂你的私人助理 结束语 . 提升智能助理产品的可靠性 . 深度学习与智能助理产品 . 智能助理产品的特点 目 录 • • 对一段文本对应的向量进行转换， 转换时使用上下文信息 通常使用 CNN 或 RNN 从编码后的向量中提取对预测有 价值的信息 输出为一个固定维度的向量 基于深度学习的自然语言处 理框架 • 基于输入向量产出最终的预测 [Honnibal 2016] 3. Attend 4. Predict 1. Embed 2. Encode • 将每个词或字映射为向 量 深度学习的应用：意 图识别 l 基于深度学习，完全数据驱动，无需特征工程 l 效果明显优于传统机器学习模型 l 在 20 多个领域下准确率可达 96% Softmax Attention LSTM LSTM LSTM 100% 95% 90% 85% 80% 75% 70% 65% 60% 意图识别准确率 传统机器学习 Accuracy 意图识别结果 来也深度学习 输入文本 传统基于规则 意图识别结果 t CRF 输入文本 - LSTM - LSTM LSTM ■ 深度学习的应用 ：实体抽 取 l 基于深度学习，完全数据驱 动，无需特征工程 l 方法通用，适用于多种领域 不同类型的实体抽取 l 效果明显好于传统方法 l 从非结构化的对话中挖掘结构化的知识 l 将知识进行沉淀和统一维护 l 提高客服效率和质量，提升用户体验 l 知识点数量庞大，无监督的聚类方法效果很差 l 词向量不适合表示句子语义 l 无监督和有监督方法相结合 l 词向量和句向量相结合 l 机器与人工相结合 深度学习的应用：知 识挖掘 解决 方案 知识库 主要 挑战 核心 价值 层次聚类 相似度计算 词向量训练 句向量训练 相似度计算 问题检索 人工审核 问题挖掘 主题词挖掘 目标 [Conneau 2017] 有监督 学习 无监督 学习 历史语料 主题词 预处理 l 基于知识库和历史语料训练具有较强 语义泛化能力的问答模型 l 提高问答机器人的召回率和准确率 l 用候选回复辅助客服，提升服务效率 l 传统方法缺乏语义泛化能力 l 传统方法没有上下文理解的能力 l 使用检索 + 上下文深度匹配排序的方法 l 匹配模型考虑上文历史消息序列 深度学习的应用： 问答 检索 候选回复 深度匹配 排序 主要 挑战 抽取 关键词 解决 方案 目标 核心 价值 [Wu 2017] 候 选 回 复 用 户 问 题 上下文 结束语 . 提升智能助理产品的可靠性 . 深度学习与智能助理产品 . 智能助理产品的特点 目 录 完全用机器来理解人类语言仍面临诸 多挑战 模糊的 语义内容 复杂的 知识处理 个性化的表 达方式 歧义 上下文 复杂背景 个性化 错误 同义 明天飞北京，订两晚酒店，老习惯 明天面试，两点和三点各一场。 一在公 司，二在星巴克 [ 前文：订一张上海飞北京的机票 ] 有国航的吗 28 号下午三点赶火车，不，是 29 号 [ 外卖 ] 肯德基到公司 [ 语音识别 ]11 月 17 日早上八点见新低 你有 freestyle 吗？ 帮我找个人来家里打扫卫生 [ 打车 ] 肯德基到公司 查一下附近卖麻小的餐厅 预约保洁阿姨上门 相同意思 多种表达 多轮 交互 相同表达 多种意思 口语 表达 网络 流行语 表达错误 和纠正 混合 多任务 了解用 户习惯 语音识别 的错误 更好的 用户体验 更高的 用户活跃度 更多的 高质量数据 • HI 的介入使得对话系统更加可 靠 • 由 AI 决定何时需要 HI 介入 • 通过 3 种方式满足用户需求 • 完全 AI • AI + HI • 完全 HI • HI 提供高质量的标注数据 AI + HI （ Human Intelligence ）形成正向循 环 更智能的 对话系统 更深度的 模型 • HI 纠正 AI 的错误：语 音识别、意图识别、实 体抽取等 • AI 基于 HI 的反馈实时 更新对话系统状态 • HI 撤回 AI 的动作 • HI 在 AI 的辅助下执行 动作 基于 AI + HI 的对话系统架 构 Context Visualization Action Visualization Dialog Manager Action Mask Context Manager Action Executor NLG NLU Response User Query AI HI 结束语 . 提升智能助理产品的可靠性 . 深度学习与智能助理产品 . 智能助理产品的特点 目 录 结束语 • IoT 时代，基于自然交互的在线助理产品将成为主流 • 在线助理强调双向的沟通、长期的关系和个性化的服务 • 使用深度学习解决 NLP 问题基本包括 4 个步骤： Embed 、 Encode 、 Attend 、 Predict • 在大量标注数据的基础上，深度学习能明显提升语义理解、问答、 对话等模型的效果 • 现阶段，聚焦场景、人机混合的智能助理产品更有用户和商业价 值 The future is already here, ——it’s just not evenly distributed. THANKS