大语言模型在软件日志运维的实践 刘逸伦 华为 2012 实验室 本科毕业于南开大学 ，硕士毕业于美国佐治亚理工学院。研究方向包括 AI 智能运维 ，大模型质量评估以及大模型提示策略 ，在相关领域以第一作者、 通讯作者身份在 ICDE 、 ICSE 、 IWQoS 等顶级国际会议 / 期刊发表 10 余篇 论文。 刘逸伦 华为 2012 文本机器翻译实验室工程 师 演讲嘉 宾 1. 软件日志运维观点 data were timestamped, enabling the datasets to be split into train/test sets chronologically. 实验设 置 • For each dataset, most baseline methods are trained on the first 10% logs and evaluated utilizing any in-domain training data, with an average improvement of 55.9% in terms ofF1-score. 实验 : LogPrompt 在零样本日志分析场景取得了较好效果， 因而可以减轻算法的数据依赖 The advantage of LogPrompt makes it a suitable choice

用于通过结合自然语言指令和机器人 视觉感知来增强具身任务规划. 框架使用视频数据 的初始帧和对应的文本指令作为输入, 根据输入的 指令和环境图像, 生成一系列动作计划. 研究人员 在多个公开的机器人数据集上进行实验, 结果表明, GPT-4V 能够有效地利用自然语言指令和视觉感知 生成详细的动作计划, 且这些计划与真实世界的演 示视频具有高度的一致性, 展现出 GPT-4V 在具身 智能中的潜力. ViLA[30] 适应性地操控具有未知物理属性的多样化物体. AdaptiGraph 利用图神经网络 (Graph neural net- work, GNN) 预测粒子运动, 并通过少量样本适应 性地调整模型以适应新材料. 实验表明, Adapti- Graph 在预测准确性和任务熟练度方面优于非材料 条件和非自适应模型. 该方法在处理包括绳索、颗 粒介质、刚性盒子和布料在内的多种真实世界可变 形物体的预测和操控任务中表现出色 ceLLM[94] 将大模型的世界知识与 3D 几何信息相结 合, 通过视觉语言模型 (Vision language model, VLM) 骨干扩展了一个掩码解码器和一个特殊特 征, 用于预测可操作性图. 实验证明, 该方法能够综 合理解场景的多个方面, 包括物体及其部分的检测、 定位和识别、场景的地理空间布局、3D 形状和物理 特性, 以及物体与人类潜在的交互功能, 此外还能 够处理全新的动作, 显示出一定的泛化潜力

SkyAgents：自研模型降低成本 ........................................................................ 25 4.7 商汤：联合清华、上海人工智能实验室打造 GITM ........................................... 26 4.8 字节跳动：豆包聊天助手 ......................... ................................................................................ 10 图 8 AutoGen 实验数据对比 ..................................................................................... 11 图 9 资料来源：botpress，海通证券研究所 2.1 自动化类：微软智能体 AutoGen 微软研发的 AutoGen 是一种多智能体沟通的模型，这些智能体通过对话完成任务。 实验发现这种多智能体沟通模式可以有效提高 AI 解决问题的准确性以及成果的完整性。 使用 AutoGen，开发者可以灵活定义智能体交互行为。微软的研究证明了该框架在包括 解决数学、编码、问题解答、运筹学、在线决策、娱乐等问题上的有效性。

计算资源需求高、训练成本高 | | BERT 系列 | 理解类任务（如文 本分类）| 语义捕捉能力强、训练效率高 | 生成能力有限 | 最终，模型类型的选择应结合具体业务场景、数据特性和资源 条件，通过实验和评估确定最优方案。 3.1.2 模型架构设计 在模型架构设计阶段，首先需要明确模型的核心任务和目标。 基于知识库数据处理的特点，我们选择了一种分层架构，以充分利 用数据的结构化和非结构化特性。架构主要包括数据预处理层、特 模块。这些工具提供了丰富的增强函数， 可以方便地集成到训练流程中。同时，为了确保增强后的数据质 量，需要对增强策略进行严格的验证和测试。可以通过可视化增强 后的样本，检查其是否符合预期；还可以通过小规模实验，评估不 同增强策略对模型性能的影响，选择最优的增强组合。 数据增强策略的最终目标是提升模型的泛化能力，因此需要在 训练过程中灵活调整增强强度和类型。可以根据模型的表现，动态 调整增强参数， 为了更好地展示采样技术对模型性能的影响，可以通过实验设 计和对比分析来验证其有效性。例如，可以在同一模型上分别使用 不同采样技术处理的数据集进行训练，并通过准确率、召回率等指 标评估模型性能。以下是一个简单的实验设计方案：  实验组：使用 SMOTE 技术处理的数据集。  对照组：使用随机采样技术处理的数据集。  评估指标：准确率、召回率、F1 分数。 通过对比实验组和对照组的评估指标，可以直观地展示采样技

内处理海量的信息并做出决策，这无疑增加了医疗风险。生成式大 模型通过自然语言处理、图像生成等技术，可以在多方面为医疗应 用提供支持。 首先，生成式大模型可以应用于临床诊断辅助。通过分析患者 的症状、实验室结果及影像学资料，这些模型能够生成初步的诊断 建议。这不仅提高了诊断的准确性，还可以减少医生的工作负担。 基于以往的病例数据，模型能够识别趋势和模式，从而为疾病的早 期发现和预防提供数据支持。 介入。此时，决策支持系统提供的临床预警功能可以有效减少危急 情况的发生，保障患者的安全。 在实际应用中，通过对接医院的信息系统，AI 决策支持工具能 够无缝获取和整合患者的电子健康记录（EHR），患者画像、实验 室检查结果、影像学数据等多源信息。这种信息的整合提升了模型 的决策依据，使得结果更加可靠。例如，在心脏病的风险评估中， 系统可以综合考虑患者的体重、年龄、家族病史及生活习惯等多项 数据，生成预警报告。 方法。 同时，AI 生成式大模型在药物研发及临床试验中也展现了其优 势。模型能够快速筛选潜在的药物分子，预测其生物活性和毒性， 从而缩短研发周期。通过模拟和生成数据，研究人员可以在不进行 实际实验的情况下，评估多种化合物的有效性和安全性，提高研发 的效率。 在患者教育和健康管理方面，AI 生成式大模型可以根据个体的 健康状况和生活习惯生成个性化的健康指导。例如，基于患者的健 康数据，

工程化产物：大模型是基于现有技术的“大工业流水线式”工程化成果 · 柔性 制造：在实现智能化的过程中，需要更灵活的开发与部署方式 实现的关键： · 工程化要求：需要熟练的工程实现人员参与，确保模型从实验到生产的平稳过渡 · 高投入：必须依赖大数据、大算力、大资金和大能耗的支持，推动模型性能最大化 面临的挑战： · 开发难度：当前人工智能模型的开发周期长，难度高，存在成本与效率的矛盾 · 反馈与实施：收集反馈，工作空 间实施 5. 应用场景：金融医疗等领域应 用 1. 创意与研究：从创意到研究提 案 2. 假设与实验：形成假设进行实 验 https://mp.weixin.qq.com/s/9_zXOJTXIFD9j44phglK0A 发展 ( 实现想法的能 力 ) 盈 假设 实验 想法 例子：智能体多角色协作与循环优化的智能决策流程 56/80 (a)Role

架构设计和业务规划，专注于更复杂、更创造性的任务， 如架构设计、算法优化或用户体验创新。 n AI 编程在银行业可有效赋能内部研发。从具体用例看， 澳新银行对 1000 名软件开发人员进行了为期六周的 AI 编程助手试 用实验。实验发现，当软件开发人员使用 AI 编程助手时，平均生产率提高 42% ，代码质量提高 12% 。开发人员的工 作满 意度也显著提高。 价值创造场景之一： AI 编程赋能开发，释放开发价 值 资料来源：《采用

联通数智公司联合北京联通等打造元景公安大模型，在北京西城、安徽省厅等多省市视侦智能化升级项目试点应用  在北京西城区公安局试点，提供以特征搜特征的大模型视觉分析能力，解决小模型无法识 别的复杂场景  7月，该试点实验室进展收到了公安部领导的肯定，对取得的成果进行充分肯定，希望在中 国联通元景大模型的加持下，探索视频侦查新技术提高案件查办效率  利用以图搜图、以文搜图提升检索效率，可服务平安城市、雪亮工程、平安乡村等场景 大模型医疗应用服务平台：提供模型微调、测评、推理加速等全链路工具箱，为医院管理、临床、教学、科研等工作提供新范式。 -25- 大模型赋能船舶设计 n 联通数智公司、上海联通与中船海舟联合挂牌成立联合实验室，探索大模型落地中船海舟船舶设计等应用场景  针对大模型处理公式计算和图表理解的不准确问题，使用5万条增量 数据对元景70B大模型微调训练，提升基础大模型计算的准确率；  针对上万页造船

训练过程中，需设置合理的超参数，包括学习率、批量大小、 训练轮数等。学习率的设置可以使用动态调整策略，如余弦退火或 学习率预热，以加速收敛并避免过拟合。批量大小的选择应考虑硬 件资源的限制，通常需要通过实验确定最佳值。训练轮数的设置需 通过验证集的性能监控，避免过拟合或欠拟合。 为了提升模型的泛化能力，可采用数据增强技术。例如，对于 图像数据，可以通过旋转、裁剪、颜色变换等方式增加样本多样 性 的最终性 能与效率。首先，学习率（Learning Rate）是训练模型时需要优 化的关键参数之一。学习率过低会导致模型收敛缓慢，而学习率过 高则可能导致模型无法收敛或陷入局部最优解。根据前期实验的经 验，初始学习率通常设置为 0.001，并采用学习率衰减策略，例如 每经过 100 个 epoch 后，学习率衰减为原来的 0.1 倍。此外，优化 器的选择也至关重要，常用的优化器包括 Adam、SGD 著缩短训练时间。此外，使用分布式训练技术，如 Horovod 或 TensorFlow Mirrored Strategy，可以在多台机器上并行训练模 型，进一步提升效率。 最后，模型优化与调参是一个迭代过程，需要多次实验和调整 才能找到最佳配置。建议在每次调参后，保存模型和参数配置，以 便后续分析和对比。通过系统的优化与调参，最终得到一个性能稳 定、适应性强的人工智能模型。 6. 考评方案设计 人工智能数

与三十亿张图像，还实现了HTML、PDF、ArXiv等多种来源数据的综合集成，极大地丰富了 数据的广度与多样性，为开源多模态大模型的突破性发展注入了新活力。 今年9月，由商汤科技携手清华大学、上海AI实验室、哈尔滨工业大学、香港中文大学、 复旦大学及南京大学等多家科研机构共同推出的OmniCorpus项目，再次将开源多模态 数据集的发展推向了新的高度。OmniCorpus包含86亿张图像与16,960亿个文本标记的 惊艳全球，其突出特点包括：一是能够生成长达60秒的 视频，远超之前只能自动生成 2 到3秒； 二是支持多角度镜头并保持一致性，突破了以往单 镜头的限制；三是能部分模拟真实世界和物理规律。这些特点预示着视频生成技术将可能 很快从实验室走向实际应用。 （2）多模态模型的崛起 多模态模型能够处理和理解不同类型的数据，如文本、图像和声音。过去一年中，这一 领域取得了显著进展，尤其是在图像和文本的联合表示学习方面。这些模型不仅提高了任 糊或多义的词汇，以减少歧义。其次，一个优秀的提示词通常包含指令、上下文信息和期望 的输出格式，这些元素共同构成了一个提示词模板。设计者可以根据模型的特点和擅长处 理的格式来定制这些模板，并通过实验来找到最佳的提示词组合。 提示词工程的优势在于，它允许我们在不修改或重新训练大型模型的情况下，通过调 整输入的方式来引导模型更精准地完成任务。这种方法有效控制了成本，同时显著提升了 模型的输出质量，使其更贴近用户的期待。