医疗健康大模型兴起， 但在应用中面临诸多问题。 本 白 皮 书 旨 在 全 面 剖 析 医 疗 健 康 大 模 型 应 用 的 各 方 面 情 况 ， 包 括 技 术 分 析 、 伦理法律评测、模型评测及提升措施等， 为其安全、有效、合规应用提供指导， 促进医疗行业智能化发展， 保障患者权益与医疗质量 。《 医疗健康大模型应用 伦理与安全白皮书 》 围绕医疗健康大模型展开多方面探 佳实践建议。 其二， 介绍通用大模型评测框架的任务定义 、 数据准备和评测方法 ； 概 述 医疗 健康 领域大模型评测的科学性 、 安全 性 、 合规性 、 伦理道德等方 面， 并 列 举 中 文 医 疗 健 康 评 测 集 ； 以 Med Bench 和 MedEth icEval 为 例 展 示评测实践过程。 其三， 聚焦 于医疗健康 大模型 医疗大模型评测 3.1 通用大模型评测框架 3.1.1.任务定义 3.1.2.数据准备 3.1.3.评测方法 3.2 大模型在医疗健康领域的评测概述 3.2.1.科学性：从通用能力到医学专业能力的提升 3.2.2.安全性：从潜在风险识别到安全输出保障 3.2.3.合规性：确保法律与行业标准的严格遵守 3.2.4.伦理道德：从责任性到文化适配的全面评估 3.2.5.中文医疗健康评测集 3.3

2.1 模型训练模块.............................................................................50 3.2.2 模型评测模块.............................................................................52 3.2.3 API 集成模块.. 可靠的基础设施。 3.2.2 模型评测模块 模型评测模块是人工智能行业大模型 SaaS 平台的重要组成部 分，它的主要目的是对所训练的模型进行客观、系统的性能评估， 以便为用户提供充分的信息，帮助他们选择合适的模型并制定后续 的优化策略。该模块应具备多维度的评测指标体系，并支持灵活的 评测方式，确保用户获得的评测结果具有良好的可信度和解释性。 功能设计上，模型评测模块应包括以下几个核心功能： 1. 自动化评测：用户上传模型后，系统可依据预先设定的评测标 准，自动进行评测。评测内容可以是数据集分割、模型推理、 结果分析等。 2. 多指标评估：根据不同模型的特性和应用场景，评测模块应支 持多种评估指标，包括但不限于： o 精确度（Accuracy） o 召回率（Recall） o F1-score o ROC 曲线与 AUC（Area Under Curve） o 训练时间与推理时间

模型部署：支持中心和边缘部署，实现 AI 模型的云边协同管理。 21 AI CITY 发展研究报告 云 / 边缘部署 能力 调测 多实例 模型评测：支持对平台部署的大模型进行评测，支持 API 接入外部第三方模型进行评测，支持选择数据集进行 模型评测和可视化结果展示，部署前充分掌握模型实际效果。 图 5 AI 模型平台示意图 （3）AI 原生应用平台 AI 原生应用平台是一站式的城市专属 高质量数据集 科技创新 配套机制完善 可信数据空间 普惠供给 智能调度 模型纳管 一站式工具集 产业发展 3 、数据运营 . 2、模型运营 基于 AI 模型平台提供的模型纳管和训练、评测等支持能力，集成可共享使用的基础大模型、行业大模型和场景大 模型资源，为用户提供丰富可选的预训练模型和大模型应用部署、训练调试、性能验证等配套服务。基于 AI 原生应用 平台，提供一站式的工具集支 根据元数据和内容特征，检查其版权来源 OWASP TOP10 for LLM 威胁防护 对有毒或违规数据进行精准识别与 构建行业特有问答 对输出合规性进行评测 多模态训练语料数据自动化隐私检测、脱敏 大模型应 用层防护 内容 对抗测试 安全 渗透测试 内容 安全评测 模型对话 违规过滤 提示词 注入防护 精确识别并防护 Prompt注入 针对训推环境和开发平台软件 文本、图片、音频、视频 “

验。整体架构采用分层设计，主要包括数据层、服务层和应用层。 各层之间通过标准接口进行通信，确保系统的模块化和可维护性。 数据层主要负责数据的存储和管理。考虑到教育 AI 大模型所 需的数据来源多样，包括教育资源、用户行为数据、评测反馈等， 因此采用分布式数据库系统，以提高数据访问的速度和可靠性。数 据层不仅需要支持结构化数据（如学生信息、课程资料），也需要 支持非结构化数据（如视频、音频和文本内容）。可以选择使用如 下的数据库技术： 服务层则是系统的核心，该层涉及多个微服务的设计与实施。 每个微服务负责特定的功能，例如用户身份认证、课程推荐、智能 评测等。这样设计可以使系统更具灵活性和扩展性，例如当需要新 增某一功能时，只需增加相关微服务而不影响其他模块。具体的微 服务可以包括：  用户管理服务  内容管理服务  教育推荐服务  评测分析服务  统计与报告服务 服务层应考虑 API 的设计，使用 RESTful API 或 过在这些平台上发布高质量的文章、技术白皮书和在线课程，可以 针对行业内的专业人士进行精准营销，进一步推动产品的认知度和 影响力。 最后，利用影响力营销是另一种实用的推广渠道。通过与教育 领域内的 KOL（意见领袖）合作，进行产品评测、推广或者品牌代 言，可以迅速提升教育 AI 大模型的知名度和美誉度。这类营销方 式通常能够在短期内获得高转化率。 总体而言，推广渠道的选择应基于以下几点具体策略：  社交媒体营销：利用微博、微信公众号等平台进行高频率内容

但不限于模型性能评估、数据集质量评估、算法创新性 评估等。 o 提供任务进度跟踪功能，允许用户实时查看任务完成情 况，并生成详细的考评报告。 5. 评测与反馈 o 系统需提供多种评测指标（如准确率、召回率、F1 分数 等），支持自动化评测和人工评测相结合的方式，确保 考评结果的全面性和准确性。 o 提供反馈机制，允许用户对考评结果进行申诉或提出改 进建议，系统应支持反馈的快速处理和分析。 可扩展性需求 系统应具备良好的可扩展性，以应对未来业务规模的增长和技 术的迭代更新。首先，系统架构应采用模块化设计，确保各个功能 模块之间松耦合，便于独立升级和扩展。例如，当需要增加新的训 练算法或评测指标时，只需在对应的模块中进行开发，而不影响系 统其他部分的正常运行。同时，系统应支持分布式部署，以提升处 理能力和资源利用率。通过引入容器化技术（如 Docker）和编排 工具（如 Kube

别学生的学习难点，进而提供个性化的教学支持。 人工智能技术是教育信息化 2.0 的另一大技术支撑。AI 技术在 教育中的应用主要体现在智能教学系统、智能评测系统和智能管理 系统中。智能教学系统能够根据学生的学习进度和特点，自动调整 教学内容和难度，提供个性化的学习路径。智能评测系统则可以通 过自然语言处理和机器学习技术，自动批改作业和考试，减轻教师 的工作负担。此外，智能管理系统能够优化学校的日常运营，例如 以下是教育信息化 2.0 主要技术支撑的简要总结：  云计算：提供计算和存储资源，支持大规模并发访问。  大数据：分析教育数据，支持精准教学和政策制定。  人工智能：实现个性化教学、智能评测和智能管理。  物联网：实现教学环境的智能化管理和远程实验操作。  区块链：确保教育数据的安全和可信管理。  VR/AR：提供沉浸式学习体验，增强知识理解。  5G：提供高速、低延迟的网络支持，优化远程教学体验。 课程资源、教学工具和案例库，形成覆盖中小学各学段、各学科的 数字化资源体系。同时，鼓励企业、高校和科研机构参与资源开 发，推动产学研用深度融合。例如，可设立专项基金，支持开发适 合中小学的人工智能编程工具、虚拟实验室和智能评测系统。 第三，强化师资培训，提升教师的人工智能素养与教学能力。 建议将人工智能教育纳入教师继续教育体系，开展分层次、多形式 的培训活动。具体措施包括： - 针对信息技术教师，开展人工智能

务质量日常检查的功能；系统还存在缺少服务区智能监管功能、缺少服务 区公众服务功能、缺少服务区公众投诉建议渠道等问题。为有效解决上述 问题，2021 年省公路事务中心将在前期开发的基础上，对已开发完成子系 统的运行维护，完成系统等保评测二级备案，优化广东公路服务区服务质 量日检统计分析子系统，完善综合统计分析模块，提升监管部门领导及管 样部门领导系统使用性，完善服务区信息管理功能，统一全面管理服务区 信息；优化服务区服务质量

建设安全管理中心：主动防御系统建设，包括漏洞扫描平台和补丁升级平 台；等级保护体系建设；安全审计系统建设；安全策略系统建设；建立密钥管 36 xxx 智慧城市建设顶层设计方案 理中心；建设身份认证管理中心；建立安全评测中心。 建立监控应急中心：建立安全监控系统；建立安全预警和事件响应系统； 制定应急响应流程。 建立容灾恢复中心：建立统一的同城灾备中心；建立异地远程灾备系统； 制定灾备恢复方案。 2) 建 124 xxx 智慧城市建设顶层设计方案 为部门决策提供专题服务。形势主题数据集主要有： 经济形势分析：主要包括经济总量、经济运行、宏观监测、价格体 系等方面的内容。 社会发展评测：主要包括文化、体育、教育、卫生、社区建设、国 际交往、公共安全等方面的内容。 科技进步：主要反映科技创新能力等方面内容。 环境资源情况分析：主要包括自然资源、环境保护、资源利用等方 项目评审、验收提供咨询服务；结合本地高校发展本地智慧城市 咨询产业，培养智慧城市领域人才。 （5）智慧城市第三方机构 为确保智慧 xxx 项目建设的质量，需要引入第三方的监理机构、 评测机构和审计监察机构，对整个智慧 xxx 项目建设过程和建设成 果进行有效的监理、评测和审计监督。 资金保障体系 建议智慧 xxx 建设所需资金通过智慧 xxx 项目公司投融资获取， 项目公司作为智慧 xxx 的总包商，对外吸引社会资本参与（实现融

人工成本以外的最大支出。在酒店的电能消耗中， 空调是耗能大户， 热水供应次之， 而 照明用电量居第三位。 系统通过对客房、 办公区域、娱乐场所和用餐区域的空调末端进行智能控制实现节 能。权威机构做过评测，夏/冬季每升/降温一度，可取得 5%-8%的节能效果。如在已 租 客房中， 客人实际在客房的时间往往并不长， 此时如果让灯光、电器、空调处于节能 模 式并让客人返回客房时自动恢复以前设置，

治理，提升施工质量水平，为公众创造文明施工环境。 5.6.4.11 平安工地五色治理应用 建设五色分级监管应用，通过搭建平安工地模型，实现五色 治理评测记录，包括安全风险、劳动保障、文明施工等维度形 419 成项目的五色治理评测体系。根据各测评内容形成对应的高、 中、低风险指标，根据各风险指标系统自动匹配对应的工作指 南用于指导项目的现场的管控分析。平安工地五色治理应用主 要包 掘功能，同时支持对各级风险的项目数据的穿透分析功能。支 持对项目评价结果信息指标查看。 3、项目风险管控记录 风险识别预警对各项目实现项目评测风险识别，提供项目评 价风险预警辅助，监管单位可根据项目风险信息进行针对性的 管控措施 对各项目实现项目评测风险识别，辅助各项目部根据项目风 险信息进行针对性的管控措施。 421 5.7 智慧运营 5.7.1 规划背景 2015 年以来，随着政府职能转变的不断深化和信息化发展 增 强把握机会的能力和减少由于风险对项目目标产生的威胁）、 采购和询价计划编制等。 7.1.5.3 执行过程 项目管理机构和项目组成员要定期检查项目绩效，对照基准 计划对项目进度进行监督和评测，以两者之间的偏差和需要的 变更，在必要的时候采取纠正行动。一旦发现较大的偏差（例 557 如那些严重危害项目目标的偏差，项目进度严重拖延，项目质 量太差，发现新的潜在的问题使项目风险过高等），就需要通