基于大语言模型的AI Agent架构及金融行业实践-周健

微信扫码，打开到小程序

基于大语言模型的AI Agent架构 及金融行业实践 周健 2024.8.17 企业数智化发展趋势 商业化成熟度 时间 2022.1 1 2023.2 2023.8 2023.5 Llama3 GPT 4o GPT4 GPT4 GPT 3.5 Sora Gemini 2023.1 1 2024.2 闭源模型（文本） 开源模型（文本） 多模态模型 实时模型 Llama2 Claude 3 GPT 4o 2024.5 Qwen2 Qwen Qwen VL 大模型的发展趋势：文本、多模态、实时，开源、闭源，商业化成熟度 模型的智能化水平与使用成本的演进趋势 • 数据作为 信息媒介 • 信息获取效率 提升 信 息（感 知）系 统 • 将数据转化成 知识表达 • 大模型带来 推理能力 提升 ？ • 数据与 真实环境交互 • 具备 任务拆解与实现 能力 模 型（知 识）系 统 行动（ 实现） 系统 新拐点 和 新范式 正在形成，通用人工智能的发展 将带来人类社会发展的巨大飞跃 Gartner：A New Market Is Emerging — Business Orchestration and Automation Technologies AI Agent在企业数智化中的定位 AI Agent：基于大语言模型的自治智能体 从人机协同模式角度 从Agent组成结构角度 p 初级形态：把AI嵌入到人的工作中 p 中级形态：AI作为人的辅助工具 p 高级形态：AI作为主要工具，Agent对人 的依赖性在降低，且越来越像真人。人 的大部分用于繁琐日常工作的技能被AI取 代，而人机协同又让个体以前90%的弱技 能被瞬间强化 p Agent具备角色识别，规划及任务拆 解、记忆及知识沉淀、工具/技能使 用、执行动作等能力 p 采用更加高效的CUI交互模式 从技术架构演进角度 p 对话式编程时代，我们相信新的更优雅 的基于大语言模型的软件架构必将诞生 p SPQA架构是一种全新的软件架构，区别 于以前静态、有限输入、电路式的软件 架构 n State+Policy：用于感知环境状态、组织 策略 n Questions+Action：拆解问题任务、组织 行动 用户 Autonomous Agent State+Policy Questions Action 感知 交互 实现 LLM Toos/S kills DocQA Text2SQL Text2Chart Text2Report Semantic Search more skills API RPA RPC JDBC/ODBC SNMP ...more Gartner：智能体组件（Action，Insight， Reference） 大模型产业生态 & 澜码科技独特的 产业生态位 大模型产业生态由 基础设施、大模型、以及面向业务和使用需求的 应用层 构成，各个要素环环相扣，共同构建和实现 新质生产力。 算力芯片 云服务平台 生产力提升 业务流程自动化 生产效率提升 基础设施层 大语言模型 模型层 2C 应用层 2B 业务层 AI Agent 专家知识 业务数据 文本问答 创意生成 Firefly Sora 1 、需要突破大模型准确率问题 2、需要结合企业数据进行训练和开发 3、需要与企业业务和流程紧密关联 4、需要关注数据安全问题 …… 目前暂无明星级应用，是 澜码科技布局的重要生态位 愿景：让人人都能设计自己专属的AI智能体 自主研发的基于大语言模型的企业级 Al Agent 平台，集Agent 与工作流设计、开发、使用、管理，与知识沉淀于一体。帮助企业 快速定制企业级Al Agent来完成各类任务，从而实现业务运营 的提质增效。 AskXBOT产品 模型中立 私有部署 高效易用 AskXBOT 国内大模型落地 的优选供应商 可信的企业级数 智化AI平台 场景兼容 范式创新 提质增效 知识沉淀 选育用留 平台产品特性 价值主张 事实性知识 Fact 企服场景下专家知识的五层模型 在企服领域内一致认同的共性知识 会计科目的代号，98521 1 高校列表，收款行的SWIFT代码， 供应商的基本信息，产品的特定规格和功能，法定假期的日期…… 企业内的约定规则和指导原则 合同中特定条款的解释和适用， 稳 定 岗 位 的 定 义 和 相 关 规 定 ， 销 售 团 队 的 评 定 标 准 和 奖 励 政 策 ， 客 户 服 务 的 最 佳 实 践 规 则 …… 企业内进行特定操作或流程的步骤和方法 售前提案的审核流程和标准， 项 目 管 理 的 具 体 流 程 和 方 法 ， 人 才 招 聘 的 流 程 和 标 准 化 面 试 评 估 ， 客 户 支 持 流 程 和 服 务 标 准 …… 在企业特定领域的专业知识和从业技能 针对特定行业的解决方案设计，针对类似岗位的招聘候选人画像 针对类似合同条款的修改建议，针对某类客户的产品需求描述…… 组织内部和外部社交规则、合适的沟通方式 出现某类问题时向何人寻求帮助最高效，某问题需要组织内哪些管理人员的决策 与客户交往礼仪及沟通准则，公司内部的组织架构及关联关系…… 社会性知识（Society) 领域性知识（Domain) 过程性知识（Process) 规则性知识（Rule) 事实性知识（Fact) 知识中心驱动的创新引擎，解放专家智慧，实现五层模型的灵活管理 AI Agent在金融行业如何落地 金融行业建设思路 提升期 专家知识实时运营 建设期 基于规则的知识解构 成熟期 群体智能涌现 • 完成不同业务领域试 点应用封装 • 全单位进行试点应用 推广 应用试点落地 • 选取一个部门 产品技术验证 • 通过一个部门 的试运行完善 应用场景（如 知识问答） 更多试点应用 • 完成业务全流程应用 升级（如信贷，销售 管理、投顾等） • 寻找其他Agent应用场 景，带来更多价值 建设运营体系 • 建设运营体系和运营 组织 • 引入对已有业务流程 挖掘和治理 • 培养更多数智化转型 人才 完善全流程应用 制定技术合规标准 • 统一技术实现路径 • 制定统一的标准和 规范 • 在更多部门进行 Agent推广应用 澜码科技AI Agent在金融领域的实施方法论 业务信息收集 样例数据梳理 应用场景评估 资源评估 算力评测 SaaS端验证 Workflow设计 实施计划研讨 知识整理 模型部署 AskXBOT部署 验收 优化 压测 监控 评估调研 方案设计 Agent实施 上线验收 项目管理和服务集成 模型效果评测 移交 系统集成设计 算力适配 Agent应用落地实例-某大型国有银行金融交易场景 Agent应用落地重在业务知识理解、方案设计与项目统筹管理。充分拉通业务用户，IT专家（知识建模专家、AI专家、大数据专家、大模型专家、 基础设施专家）与合作伙伴，综合运用各种工具和平台，构建基于自然语言理解、智能化推理、质量可靠的企业智能体应用。 1.业务调研 • 场景：金融交易类 • 流程：SOP • 问法：发起交易，信 息提供 • API：行内接口 2.方案设计 • 场景实现流程：SOP • 大模型能力边界：是 否需要用function call • 对话流：记忆、规划 3.模型选型 • 信息抽取：基础信息、 合约、金额 • 意图识别：流程状态 • 知识检索：不涉及 • 工具调用：SOP接口 调用 4.测试环境部署 • Agent平台部署 • 大模型私有化部署： qwen 14B • 模型对接与联调：行 内模型 • 测试环境工具调用API 10.上线投产完成 8.投产准备 • 安全组件清单准备 • 生产环境IT资源确认部 署方案确认与演练 • 防火墙策略申请 7.数据准备 • 生产环境工具调用API • 业务验证数据 • 账号与权限数据 6.迭代优化 • 正向业务链路设计 • 记忆优化 • 逆向业务及容错设计 • 定制化开发 5.MVP搭建 • 对话流：记忆、SOP • 子Agent拆分：信息收 集Agents • 信息收集：合约、金 额 • 业务试用验证 9.投产过程 • Agent平台部署 • 应用Agent迁移 • 定制化开发部署 • “试车”跑通 10用户并发 CPU服务器：8C 16G 1T *4 GPU服务器：A100*1（40G） GLM4-昇腾：8*910B（64G） 某证券公司智能投顾产品设计 LLM接入 Finetune Enginnering LLM模型管理与基础设施 行动 过程数据 Metadata 日志/监控数据 数据层 技术基座 RPA 流程 引擎 ... 外部 应用 系统 洞察 参考 网络搜 索(插 件？) 市场数 据 数据爬 虫(插 件？) 公司数 据 投资策 略分析 风险分 析 研报分 析 已有分 析系统 Agent平台for销售管理 参考 参考 洞察 开户 助手 基金 问答 投顾 助手 .... 洞察 组装、集成 例如：网络搜索+财务分析+线索数据+转化率分析=线索挖掘（应用） 开户流 程 投顾分 析流程 行动 金融行业案例分享 业务知识梳理与归集&原子化工程能力构建 应用层 中间层 AI基础架构层 算力层 品牌 用户体验 理解用户需求 私域运营 领域知识 领域数据 深度学习框架 分布式训练系统 大模型推理框架 大模型训练框架 高性能计算资源 弹性云计算平台 分布式计算架构 多模型管理 任务编排和调度 AutoML工具 分布式存储 数据压缩技术 网络数据传输 算力层 AI基础架构层 中间层 应用层 预训练大模型 多模态模型 模型压缩及蒸馏 持续学习 模型层 模型层 大模型推理优化 大模型微调 RLHF 能力分类 开源框架 大厂 澜码 业务能力 智能化咨询 O O � 知识/流程治理 O º � 业务理解 O O º 预置应用 � � º 产品能力 多Agent协作 º º º 工作流 º º � RAG � � � ABI O O º 工程技术 Prompt优化 º � � 动态路由模型 º O � 模型微调 O º º 仿真评测 O O º 澜码的检索增强生成（Retrieval-Augmented Generation，简称 RAG）实践 用户提问 问题扩写 结束 片段召回 问题拆解 问题扩写 片段精排 片段总结 向量库 全文索引库 段落 文档 元数据 摘要 图片 数据 上传 图. RAG模块核心处理流程 RAG是一种结合了信息检索和文本生成的技术，它通过从知识库中检索相关信息来辅助大型 语言模型（LLM）生成更准确、更丰富的文本回复。RAG 的优势在于它能够确保模型访问 到最新、最及时的事实和相关信息，通过定期更新外部参考信息，生成的回复能够纳入与用 户查询相关的最新信息。 在企业需求场景中，应用与客服、IT服务、政策查询等等各类从大文本中检索内容的场景， 由于LLM技术的兴起时刻用户对“ 文档搜索” 的要求大幅提升，其中出现很多RAG方法无法 覆盖的能力场景，例如：文章归纳摘要、图文混合检索、表格理解、大批量文档中的精准查 询，跨语种检索等。面对这些问题，需要系统的看待问题，并针对具体的问题进行应对，仅 通过RAG或类似RAG与知识图谱（例如：GraphRAG）结合的方案无法在项目中稳定可靠、 经济高效的满足客户需求。 澜码自从大模型技术兴起以来，在RAG方案的实践上经历了多个行业不同场景的实际项目交 付历练，形成了一套综合、高效，能够灵活应对各类问答交付场景的系统化RAG方案。澜码 在项目中形成了从知识治理、文档入库、检索增强等各个领域的综合方案，可以针对不同项 目不同应用场景，灵活设计检索方案，帮助企业稳定可靠的落地RAG方案。 企业应用的RAG的实践 文档预处理 澜码ABI（Augmented Business Intelligence）的应用实践 图. ABI产品应用架构 客户 端 识别 工具 指标/维度识别 维值识别 日期识别 查询指令 澄清项目 查询结果 记忆管理 指标识别 语义解析 任务拆解 问题理解 需求澄清 技能工具 数据查询 根因分析 数据解读 PC端 移动端 。。。 DataBase 指标库 向量库 大语言模型 Embeding模型 澜码科技作为大模型应用落地的领先企业，在ABI 应用板块率先拥有成熟产品以及行业成功案例，用 户通过应用澜码ABI产品，大幅降低员工用数成本， 使得80%以上的数据分析任务都通过ABI来完成。 准确可靠的查数 基于澜码开发的ABI对话框架，通 过大模型与指标库的结合，围绕业务人员的数据达 到查数成功率 90% 以上的业界领先效果。 强大的数据分析 澜码ABI产品充分发掘指标库与大 模型结合的能力，在完成查数的基础上，为用户提 供了各类数据分析能力，让业务人员可以快速找到 数据异常的根源。 富有洞察力的数据解读 澜码ABI同时为用户提供了 查询结果的解读能力。业务人员得到数据结果后没 有分析思路，大模型可以帮助用户快速发现数据中 的关键细节，解读数据的特征，帮助用户快速理解 数据状况。 营销辅助助手-健康产品推荐 背景目标 解决方案 l 当前保险渠道人员超过百万，仍旧资源紧张、人员流动率 高、健康及保险知识庞大复杂，不易掌握 l 单城市体检报告超过1 0万份，人工解读效率低，不精准 l 核保情形复杂，流程冗长，单次核保时间3周 l 需要智能化手段赋能体检报告解读、营销辅助推荐、核保 辅助审核等环节 l 自动对体检单进行信息抽取，提取到健康状况及疾病相关 的信息。 l 专家知识通过自然语言的方式将产品匹配规则进行输入， Agent会自动根据抽取的信息和匹配规则，针对用户的健 康情况，推荐适配的健康保障产品。 l 辅助经纪人在已有客户上面进行更大范围的产品销售和推 荐 体检单信息 抽取分析 产品规则匹配 健康保障产品 推荐报告 精准获客 精准过滤并锁 定1 5%～ 1 8%的适用人 群，提升获客 率 降本增效 原有营销和核 保的成本降低 50%，周期缩 短3～5倍 风险管控 对核保资料的 深层提取实现 审核风控能力 增强 增员转型 科技赋能保险 渠道人员的 案例演示：健康产品推荐-预定义Agent与Workflow结合 数据分析Agent案例 - 某头部消费金融公司普惠金融贷款场景 需求背景 解决方案 基于数据中台的数据分析类业务逐年升高，数据服务需求旺盛， 支撑数据服务与数据分析等工作的人员任务繁重，导致业务获取 数据周期长、业务运营效率低等问题，需要通过一种更加灵活智 能的手段来解决。同时由于行业监管的要求需要私有化部署 【数据中台】+【澜码AI中台】 通过生成式SQL及生成式BI的方案，可以通过对话实现灵活丰富 的数据获取。交付澜码的SQL代码生成微调模型，目前准确率已 90%+，继续优化中，预计可至95%+ 数据应用 灵活用数（一期一阶段） 日常报表（一期二阶段） 业务赋能（后期拓展） 数据中台 （已有中台能力） AI平台 -后期拓展 数据仓库 标签管理 数据湖 指标管理 AskXbot 设计器 AskXbot 管理平台 AskXbot 使用端 知识 问答 海外 模型 内容 生成 国内 模型 数据 分析 智能 调度 澜码 模型 Agent设计 基础模板 流程配置 服务发布 用户鉴权管理 授权管理 日志管理 知识库管理 Agent使用 任务管理 人机交互 多端适配 DocAQ 知识库问答 semantic search 普通会话 专业内容生成 text2SQL text2Chart text2BI text2Action autonomous planning GPT3.5 Claude2 GPT4 Cohere minimax chatGLM 文心一言 讯飞星火 6B 1 3B 32B 1 30B 行业模型 定制模型 embedding模型 灵活查询 （AI会话式） 多维分析 （AI面向业务的会话式分析） 会话式报表 （AI+三徇） 报表制作 （三徇+AI助手） 决策引擎 知识库问答 营销分析 增强分析 案例演示：数据查询与分析 开户辅助助手-具备记忆、规划、调用、反思的复杂任务机器人 将用户回答转换为标准的输入 通过OCR识别营业执照 帮助用户查询相关资料信息 提交后调用API请求，发往行内接口进行填单 对于用户不明白的疑问，查询文档予以解释 收集所有需要的字段信息 用户确认所有信息的正确性 Question Answer 获取记忆 决策todo 选择action 推理回复结果 参数匹配 短期记忆 长期记忆 三方API 工作流 Agent 智能决策 任务执行 观察结果 记忆存储 Use r Agen t Skill s 项目背景 l 需要完成一个模拟一个真实的客户经理，帮助用户进行 对公开户的复杂Agent l 需要同时处理信息收集、格式核验、字段问答、OCR、 辅助填写、API上报、信息确认等多种要求，用户可随时 打断，发散，并回归 业务流程 执行调用 解决方案 l 使用Master Agent框架，对问题进行观察、反思和行动，并自带记忆，可 进行多种技能灵活调用，通过组合平台多种agent、工作流，综合完成任务 l 通过自定义Master Agent、自定义workflow、自定义API技能、文档知识 问答，实现一个像客户经理一样辅助用户对开开户，具备复杂的行为准则 的Agent 案例演示：开户助手 - Agent+OCR+API+专家知识的综合自动化应用 澜码科技公众号： 我的个人微信：