计算机科学与技术学院 社会计算与信息检索研究中心 人机对话关键技术及挑战 本科生 对话理解与对话生成 对话主导 朱才海 冯梓娴 推荐主导 胡景雯 一致性 张家乐 张开颜 连贯性 个性化 多样性 朱庆福 马龙轩 宋皓宇 刘元兴 李凌志 多轮建模 朱泽圻 风格化 Conversational Intelligence (CI) 张伟男副教授 对话式推荐 个人简介 HIT-SCIR 博士生 硕士生 智能人机对话系统“笨笨” • HIT-SCIR-CI 组主导研发 • 平台 • 微信公众号： 2016 年 6 月 6 日上线 • 实体机器人 • 主要功能 • 闲聊 • 问答 • 任务型对话 • 推荐 3 笨笨系统结构 6 “ 任务执行”示例 7 “ 推荐”示例 8 笨笨访问统计 9 智能人机对话系统“笨笨” 10 • 主办方 • 中国中文信息学会 (CIPS) • 承办方 • 哈尔滨工业大学社会计算与信息检索研究中心 • 科大讯飞 ( 数据支持 ) • 赞助方 • 华为公司 中文人机对话技术评测 (SMP-ECDT III) 11 SMP ECDT III 委员 会

智能对话系统中的个性化 胡一川 来也联合创始人 &CTO . 2000-2007 ：清华大学本硕 . 2008-2011 ：宾夕法尼亚大学博 士 . 2011-2012 ：今晚看啥联合创 始人 . 2013-2015 ：百度资深架构 师 . 2015 至今：来也联合创始人 &CTO 个人简介 胡—川 让每个人拥有助理 六百万用户正在使用的对话式在线个人助理服务 • 理解 领先的企业智能助理 智能对话解决方案赋能企业提升效率 • 具有 AI 能力的机器人平台和智能对话解决方案 • 基于大数据挖掘的用户画像，实现个性化推荐 • 超过 95% 的 AI 准确率，人效优化 60% • 2-3 倍的销售转化率提升 来也专注于智能对话技术 2 、用对话机器人 替代人工 . 在线客服 . 智能 IVR . 智能外呼 3 、用对话机器人 提升效率和体验 智能营销 . 智能推荐 . 智能下单 1 、自然对话是唯 一的交互方式 . 车载 . 智能音箱 . 可穿戴设备 适合智能对话系统的场景 . 用户希望得到特定问题的答案 . 机器人回复来自特定领域的知识 库 . 以准确率为评估指标 . 用户希望完成特定的任务 . 机器人通过多轮对话满足用户需 求 . 以需求完成率为评估指标 .

提供客户信息安全保护 • 快速迭代技术 + 快速迭代业 务 • 自助化工具提高运营管理效 率 • 多渠道打通 • 客户全生命周期洞察 • 全面数据获取与分析，完善 产 品与服务 • 智能多轮对话机器人 ( 语音 + 在 线 ) • 精准营销、个性化主动服务 • 客户服务拟人化 以智能化为 核心，多渠 道整合客户 信息 个性化和智能化服务， 提升客户感知度 数据精细化、 自动化知识挖掘、分类、迭代扩展，重塑知识管理流程 人力成本 智能语音 & 在线客服机器人 / 客服助手 / 自动化外呼 代替部分人的工作来降低成本，辅助人的工作提升效率和效果 客服环节 智能语音 & 在线客服 多轮对话机器人 销售环节 实时话术提示 加速成长，提升产能 营销环节 大数据用户画像 精准低成本获客 全方位、全过程的 AI 产品及解决方案 百度智能客服项目实施案例 业务系统 按键式 IVR 语音识别能力 + 深度语义理解 + 对话配置能力 + 智能化知识库 语音识别能力 + 简单语义理解 » 百度智能客服实施案例 —— 某运营商案例 语音导航 IVR 智能对话 IVR 业务系统 业务系统

提供语义、对话、推荐等技术解决方案 ，赋能企业和 专业人士 ，打造智能行业助理 • 通过具有 AI 能力的智能交互系统 ，提升专业人 士 的服务效率和服务水平 通过微信服务号为用户提供一站式、对话式的在线私 人助理服务 • 通过理解 - 交互 - 咨询 - 任务等环节 ，完成交易闭 环 个性化的需求如何更高效的被满足？ 如何提升基于交互的服务效率和服务体验？ 任务型对话机器人 商业智能 智能分组推送 个性化推荐 知识库 问答型对话机器人 领先的知识型交互机器人 最懂你的私人助理 结束语 . 提升智能助理产品的可靠性 . 深度学习与智能助理产品 . 智能助理产品的特点 目 录 • • 对一段文本对应的向量进行转换， 转换时使用上下文信息 通常使用 CNN 或 RNN 从编码后的向量中提取对预测有 价值的信息 ■ 深度学习的应用 ：实体抽 取 l 基于深度学习，完全数据驱 动，无需特征工程 l 方法通用，适用于多种领域 不同类型的实体抽取 l 效果明显好于传统方法 l 从非结构化的对话中挖掘结构化的知识 l 将知识进行沉淀和统一维护 l 提高客服效率和质量，提升用户体验 l 知识点数量庞大，无监督的聚类方法效果很差 l 词向量不适合表示句子语义 l 无监督和有监督方法相结合

pretrain + finetune 参数：未公开 特点：输入扩展到图片，更长文字输入，信息可靠性及安全性大幅提 升 人工对齐 强化学习 数据： + 更多的对话语料 模型： GPT-3.5 + 强化学 习 参数： 175 B 特点：对话理解能力提升 数据：未公开 模型： GPT 4 + 多模 态 规模进一步增大 in-context learning 规模增大 Prompt 预训 5%+ 实验室数据仅供参考 2 6 产品能力 l 重点行业模型 l 对话：意图理解准确 l 对话：多轮对话（上下文） l 对话：知识库匹配 l 知识库：问题 / 相似问生成 l 知识库：基于数据 / 资料，生 成知识和答案 l 对话生成：客户未维护的问 题 / 多意图，自动生成答案； l 对话生成：通用知识和答案 生 成，用于兜底 腾讯云智能客服基于领域大模型，增 腾讯云智能客服基于领域大模型，增强语言理解和问答生成，解决客服的数据生产高、跨场景适配差的问题，提供精准高质量的智能对话服务，加速 渗 透 大模型在智能客服应用案例 为客户服务和营销 降本增效 客户服务成本下降 接待 / 销售效率的提 升 文本客 服 bot 电话客 服 bot 智能辅 助 bot 会话分 析 基础能力 场景价值 2 7 • 客户痛点 1. 客服人力不足；

TaskBot ， ChatBot ， 自主学习流程 03 落地效果 QABot 线上效果， TaskBot 线上效果 04 总结 人机协同学习，加速进化 客服系统简介 演变中的客服系统，对话系统， 智能客服机器人， 美团业务简介，美团客服系统 目录 01 话音呼叫中心 纯人工服务模式 只支持语音电话 人效低，成本高 网页在线客服 基于网页会话 支持文本和语音 智能客服 闲聊型对话 问答型对话 任务型对话 图谱型对话 对话系统 1.2 对话系统简 介 • KBQA • 基于图谱推 理 • 解决特定问 题 • TaskBot • 多轮会话 • 针对特定场 景 ChatBot 不解决问题 自然交互 多轮会话 • QABot • 单轮会话 • 上下文无 关 • • • • > 将对话系统技术融入在线客服体系

&& 生产规划 教育 : 智能问答、试题生成 法律 : 智能法律助手，法律咨询 医疗 : 问诊，用药咨询 科研 问答理解类 常识、专业知识、多语言、多模态、角 色扮演 + 多轮对话、安全陷阱 推理类 情感推理、演绎推理、逻辑推理、归纳 推理、类比推理 创作表达类 文字创作 & 创意、内容改写 / 续写、修改 / 润色、文字处理、编辑 / 语义匹配、摘 SUMMIT 深度学习开发者 大会 2024 上宣布了文心一言的最新数据，并正式发布文心大模型 4.0 Turbo 、飞桨框架 3.0 等最新技术 全球首个百亿中英对话生 成模型 Plato-XL 2019.07 全球首个大规模隐变 量对话模型 Plato 文心一言大模型 4.0 2021.12 全球首个知识增强千亿大模型 鹏程 · 百度 · 文心 2024.06.28 文心一言大模型 联邦学习 强化学习 计算机视觉 服务化部署 文心大模型 训练 开发 模型压缩 时间序列 图学习 动态图 静态图 ⽣物 推荐 语音 自然语言处理 文心一言 ERNIE Bot 对话 PLATO-XL| 搜索 ERNIE-Search 跨语言 ERNIE-M | 代码 ERNIE-Code 语言理解与生成 ERNIE ERNIE 3.0 Zeus

Pre-trained Transformer  单向模型，只考虑前文，不考虑后文  采用自回归（ autoregressive ）的方式生成文本，即逐个生成下一个词  通常用于生成文本、对话、问答等任务 CHIMA 20Pag2 Tsinghua Confidential | lvhairong@tsinghua.edu.cn BERT 训 练 ③ 精 准 可 解 释 ④ 医 20Pag2 Tsinghua Confidential | lvhairong@tsinghua.edu.cn GPT 在编写代码上的应 用 2021 年 12 月 使 GPT 具有与人类对话的能 力 2022 年 11 月 模型内部本质上是基于统计的文字生成器 ③ 精 准 可 解 释 ④ 医 疗 应 用 ⑤ 数 基 生 命 ② 剖 析 大 模 型 ① 关 于 预 训 通过对海量文本的学习，自动构建了一个含有 1750 亿参数的大模型，建立了对这个世界基本的逻 辑 认知，由此产生了基于逻辑的推理能力 实际上是根据对话中的最近 4095 个记号，算出紧接着最可能是哪个记号 但， ChatGPT ≠ 模型 模型负责把最近的对话内容翻译为一张概率表 ChatGPT 负责根据这张表选出下一个记号，再让模型算再下一个记号的概率 表 可以理解为高阶的马尔可夫链 ③ 精

显性教育 学科辅导 、技能训练（编程 / 乐器） 、规则制定（作息时间） 。 隐性教育 家庭文化（餐桌礼仪） 、情感联结（亲子共读） 、价值观渗透（家长以身作则） 。 4. 系统方法 沟通方式 对话与倾听（非暴力沟通） 、非语言互动（拥抱鼓励） 。 激励与约束 正向强化（积分奖励） 、负向反馈（暂停特权） 。 参与模式 共同活动（家庭运动日） 、自主探索（提供实验工具） 。 5. 环境与资源 启发表达优化思维 提升语言应用能力而非机 械纠错 智能润色系统（案例 2 ） ： 分析语法错误， 提 供 高级表达替代方案 单向讲述历史事件 构建沉浸式学习体验 增强记忆深度与兴趣 时空穿越对话（案例 3 ） ： 通过第一视角叙事 还 原历史场景 命题作文框架指导 激发多维度创作灵感 突破思维局限， 培养观察 力 思路过程生成（案例 4 ） ： 基于关键词联想感 官 与情感维度 构建理论的理论框架——理论构建学 n 基于 AI 模拟的文明冲突仿真实验研究 A I 课程作业： 新术启教 技融学 途 n 基于 Suno 制作的游戏 Boss 音乐 n 基于 AI 对话的文学作品二次创作 n 基于 AI 的群体智能对话： 派对之夜 函数 I 将原有理论 T 、评估向 量 V 和基础知识和现象集合 C 映射到一个新的或改进的理论 T ′ ，这表示基于多维度的评 估结果对原理论进行修正和完善

百度智能客服实践和展望 王巍巍 百度智能云智能客服总经理 “ 听”：语音识别 “ 看”：人脸 &OCR “ 读”：自然语言处理 “说”：语音合成 学习：深度学习 对话：会话中控 预测：画像分析 人机交互 机器辅助 智能技术在金融科技领域带来三新变化 新感知 新认知 新交互 了解个人和企业客户——快、准、全 赋能金融行业各个场景 效率、满意度、场景 服务行业客户，做最落地的智能客服 电信运营商 教育 理财 理财 银行 通信 电商 信用卡办理 客诉处理 流程办理 业务办理 用户关怀 智能服务 航空 营 销 服 务 . 全栈企业级对话产品矩 阵 . 金融行业垂直的解决方 案 . 成就客户的实践方法 助 力 企 业 客 户 营 销 与 服 务 闭 环 打 造 销售转化 客诉处理 意向筛选 流程办理 业务咨询 商机挖掘 Speech NLP KG SMS IM Voice 隐私号 5.0 的智能核心 对话机器人 智能知识库 智能语音 智能质检 …… 智 能 服 务 平 台 产 品 矩 阵 全 景 图