大数据基础平台建设方法

语言	格式	评分
中文（简体）	.pdf	3
概览
大数据基础平台建设方法目录  大数据建设目的及建设方式  大数据方案解读  产品运行效果展示企业内部的各种应用系统相互独立，企业应用系统没有统一的入口，一名员工拥有多个账户个人业务相关信息缺乏集中展现的地方，员工需要不断在各种系统之间频繁切换企业中的基础数据和主要数据有在不同的系统中都是重复，混乱的，没有统一的入口企业无法快速，准确的获取下属企业的信息，并对下属企业进行有效管理信息化建设障碍社会化编码库大数据管理平台组织管理编码规则访问服务编码库编码历史编码审批访问权限高速缓存企业统一元数据资产管理 NC-ERP 项目管理其他系统 GIS 大数据：指系统间共享数据（例如，客户、供应商、物资和组织部门相关数据），与记录业务活动，波动较大的交易数据相比，大数据（也称基准数据）变化缓慢要点：唯一性、共享属性、运营属性、管理流程、变更流程、质量检查、数据清理大数据管理大数据管理所解决的问题  一物一码  同一个对象（人、物、单位等）在不同系统中的统一标识  核心信息的权威化  专门的维护点、审核点  创建流程、变更流程的记录  扩展信息的完善管理机制  企业规范的合法化  为IT部门进行整合提供技术基础大数据管理的实质大数据基本档案可根据需要挂接审批流程的可供多个异构系统共享的可通过封装服务访问的目录  大数据建设目的及建设方式  大数据方案解读  产品运行效果展示大数据标准解决方案组成  编码规则  企业服务规范  数据清理方案  接入系统改造方案管哪些东西，都是什么样子的东西都有谁要用这些数据，怎么用以前遗留下的数据怎么按编码规则迁移过来要用这些数据的人怎么样才能拿到想要的东西第一部分编码规范编码规范的内容  管理对象  编码体系管理对象的定义方式  基于各信息系统信息处理的需要，以减少对信息的重复采集、加工和存储为目的，进行管理对象的选择。  最直接特征：  需要在多个系统中出现  管理者与使用者分离  常见需要大数据管理的对象有  组织机构、人员、用户  客商、物料（货品）  项目等关联型业务数据  其它用户所需要管理的核心数据编码体系  常用编码形式  分类码、顺序码、组合码  单维度分类码与多维度复合编码编码体系差异及选择单维度分类码 100 006 013 44 薄膜衣片西药多维度复合码编码部分： A000001567 A：西药后9位为顺序码属性部分：血液系统用药物通用名* 剂型* 药品批号* 类型甲钴胺片薄膜衣片国药准字 H20051440 血液系统用药物缺陷：弹性较差，个别类目上的代码改变时会影响其他编码；层次较多时，代码位数较长；扩展性差，不利于增加新的描述分类；编码总长度过长。编码体系构成  编码、属性  属性包括：唯一性、共享分类  属性填写要求序号名称定义 1 原料药按照集团统一编码系统的相关约定设置该分类。 2 片剂(非包衣片、素片、压制片)，浸膏片按照集团统一编码系统的相关约定设置该分类。 3 糖衣片按照集团统一编码系统的相关约定设置该分类。 4 咀嚼片，糖片，异型片，糖胶片按照集团统一编码系统的相关约定设置该分类。 5 肠溶片(肠衣片) 按照集团统一编码系统的相关约定设置该分类。 6 调释片，缓释片，控释片，长效片按照集团统一编码系统的相关约定设置该分类。 7 泡腾片按照集团统一编码系统的相关约定设置该分类。 8 舌下片按照集团统一编码系统的相关约定设置该分类。 9 含片，漱口片(含漱片)，喉症片(喉片)，口腔粘附片按照集团统一编码系统的相关约定设置该分类。第二部分企业服务规范企业服务规范的内容大数据平台接入业务系统企业服务总线 ESB 提供各类服务（查询、申报、变更等）触发各类事件（审核完成、数据调整等）调用平台所提供的各类服务响应平台所触发各类事件影响因素：是否存在需要进行主观判断的填写标准。影响因素：是否有新增、删除、修改数据的权利使用大数据管理对象的系统 = 接入业务系统对于大数据管理平台与接入业务系统之间进行数据交换方式的规定，就是企业服务规范制定企业服务规范的步骤  分析系统数据交换形式及流程  根据分析结果确定服务及事件清单  综合编码规范确定服务及事件的输入输出内容场景样例1  某集团，下属200多家分子公司，其中包括子集团  集团总公司对于子公司无法全权控制，系统形态较多，信息化供应商情况复杂  集团在进行整体BI分析，部分企业直接通过 ETL挖掘数据，部分企业使用手工上报平台进行上报  分子公司多业态，业务开展相对独立。业务系统偏重点不同。  集团设置质量部负责货品以及客商的有效性  集团设置运营部负责货品及客商统计维度类别划分特征分析  分子公司存在异构系统，不可统一  允许分子公司直接增加数据  分子公司增加的数据需要集团进行核准  集团对于数据的核准不能影响分子公司业务的开展常见数据交换形式1：多点维护、统一认证分子公司 ERP系统一集团大数据管理系统服务提供组件事件触发组件客商信息管理人客商信息使用人大数据编码库分子公司 ERP系统二分子公司 ERP系统三常见数据交换形式1：多点维护、统一认证分子公司 ERP系统一集团大数据管理系统服务提供组件事件触发组件客商信息管理人客商信息使用人大数据编码库分子公司 ERP系统二分子公司 ERP系统三数据交换形式1数据流程分析业务系统主数据服务总线主数据流程管理平台申报请求申报请求处理申报请求响应反馈信息处理流程启动请求提交唯一性及正确性属性接收处理返回编码，保存至本系统数据库。使用唯一性属性在正式数据中检索若不存在，则生成临时码，并想流程管理平台提交申报请求。若存在，则获取正式码及当前相关属性。将正式码作为申报请求响应返回。比较当前正确性属性与申报请求中的正确性属性，若存在差异则向流程管理平台提交变更请求。流程请求响应申报审批流程审批完成后，如审批通过，返回正式码；如审批打回，返回打回意见。服务总线根据系统注册信息向相关系统进行推送。接收数据后，若为正常通过，则将本系统临时码更新为正式码；若为审批打回，则将打回意见通知操作者，根据打回意见修改数据后重新进行申报提交。场景样例2  某集团，下属20家分公司，10余家控股子公司  集团总公司对于分公司完全集中控制，管理系统均为统一采购，生产系统独立采购  企业所有人员由人力部门统一管理  客商、存货数据由生产、营销部门进行录入，信息部门进行审核特征分析  整个集团中，同一功能使用相同系统  人员信息在单一HR系统中进行维护，数据的增加由集团统一完成  客商、货品信息在大数据平台中维护，需要多级审批，数据的增加可由下级单位进行  在数据没有通过审核时，不允许使用常见数据交换形式2：统一维护、多点使用分子公司 ERP系统一集团大数据管理系统服务提供组件事件触发组件员工数据管理人员工数据使用人大数据编码库分子公司 ERP系统二分子公司 ERP系统三制定企业服务规范的步骤  分析系统数据交换形式及流程  根据分析结果确定服务及事件清单  综合编码规范确定服务及事件的输入输出内容样例服务列表  常见服务种类  查询  全量、增量  申报  启动审批流程  直接加入数据  变更  启动审批流程  直接修改数据  封存  启动审批流程  直接修改数据  常见事件种类  推送  申报、变更、封存序号服务编码服务名称服务描述 PT_M_001 GetMediTypesSrv 获取药品分类清单。 PT _M_002 GetMediCountByTypeSrv 获取指定类别药品数量。 PT_M_003 GetMediByTypeSrv 获取指定类别药品数据。 PT _M_004 GetNewMediByTypeSrv 获取指定类别药品增量数据。返回指定药品类别某时点后更新过的药品数据。 PT_M_005 GetMediByCodeSrv 根据药品编码获取药品数据。 PT_C_001 GetCustTypesSrv 获取客商分类清单 PT_C_002 GetCustCountByTypeSrv 获取指定类别客商数量。 PT_C_003 GetCustByTypeSrv 获取指定类别客商数据 PT_C_004 GetNewCustByTypeSrv 获取指定类别客商增量数据 PT_C_005 GetCustByCodeSrv 根据客商编码获取客商数据 PT_G_001 GetCorpsSrv 获取公司数据 PT_G_002 GetNewCorpsSrv 获取公司增量数据 PT_G_003 GetCorpByCodeSrv 根据公司编码获取公司数据 PT_D_001 GetDeptsSrv 获取部门数据 PT_D_002 GetNewDeptsSrv 获取部门增量数据 PT_D_003 GetDeptByCodeSrv 根据部门编号获取部门数据 PT_D_004 GetDeptsByCorpSrv 获取指定公司部门数据 PT_D_005 GetNewDeptsByCorpSrv 获取指定公司部门增量数据 PT_P_001 GetPersonsCountSrv 获取人员数量 PT_P_002 GetPersonsSrv 获取人员数据 PT_P_003 GetNewPersonsSrv 获取人员增量数据 PT_P_004 GetPersonByCodeSrv 根据人员编码获取人员数据 PT_P_005 GetPersonsByCorpSrv 获取指定公司人员数据 PT_P_006 GetNewPersonsByCorpSrv 获取指定公司人员增量数据 RQ_001 ReqMediByTypeSrv 指定类别药品申报 RQ_002 ReqCustByTypeSrv 指定类别客商申报 RQ_003 ReqCorpSrv 公司申报 RQ_004 ReqDeptSrv 部门申报制定企业服务规范的步骤  分析系统数据交换形式及流程  根据分析结果确定服务及事件清单  综合编码规范确定服务及事件的输入输出内容样例服务定义服务标识 PT_C_003 服务名称获取指定类别客商数据（GetCustByTypeSrv）服务描述获取指定类别客商数据。与PT_C_002配合使用获取批量数据时使用。根据客商类别，返回对应类别的客商数据。采用分页形式进行获取，调用方根据通过 PT_C_002服务获取的客商数量，确定调用本服务的次数。为防止一次性传输数据量过大，本服务内置限定一个对于返回数据集合的数量限制。现约定此限制为1000。根据输入的不同客商类别，返回所对应的客商数据格式，具体格式见客商数据描述。序号数据项名称数据项类型备注 1 Type 客商类别字符在客商类别清单中存在的客商类别编码 2 Start 开始记录数数字 3 Count 返回数量数字序号数据项名称数据项类型备注 1 success 成功标志位数字 1：成功；0：失败 2 errcode 错误代码字符成功时为空 3 message 错误信息字符成功时为空 4 count 数据数量数字客商数据集合中的记录数量 5 datas 客商数据复杂类型输入输出第三部分数据清理方案数据清理方案  对于原始数据的处理  由于数据规则改变导致的修改  对于不符合规范数据的清理  对于重复记录的清理  原始数据数据量及清理方式  一般采用线下工具完成  使用Excel作为数据采集工具药品数据量类别数量医疗器械 15974 西药 33660 中成药 20197 中药材 2927 中药饮片 17789 食品 322 日用品 714 包材 58 生物制品 634 其它 556 化妆品 964 化学试剂 3 保健品 2102 合计 95900 客商数据量类别数量药店 16351 个人 1302 医院 21644 其他单位 2171 生产商 5300 经销商 13893 合计 60661 清理流程图用友方用户方 1。整理《新旧大小类对照关系表》 5。全角字符筛选，提交：《全角字符替换确认表》 14。核对药监局网站做数据清理，完成后提交Excel文件 13。问题讨论，整理数据清理规则 12。对排重的数据，合并并做新数据分配 11。分工进行数据排重，完成后提交Excel文件 10。试清理—》讨论并制定信息属性和分类 9。数据清理培训 8。生成对应数据清理用的Excel文件 3。统计《大小类数据量分析表》 4。提交《数据清理分工表》 2。大小类对照：系统数据后台处理 7。全角字符替换：系统数据后台处理 15。将清理过的Excel文件导入到系统中，替换原有数据 6。确认《全角字符替换确认表》数据清理工作流程适用于：期初数据清理，日常使用中的数据合并 ID 名称属性 A000001 康泰克颗粒物 ID 名称属性合并 A000002 康泰克2 颗粒物 A000001 1、建立专用区域存放被清理数据 2、在被清理数据上标明被合并目标对象 3、被清理数据保留一定时间可通过生存周期统计确定保留时间。对于重复记录的处理第四部分接入系统改造接入系统改造方案  数据库改造  档案改造  属性对照关系处理  用户信息改造  系统功能改造  历史数据处理  新增数据处理  反馈信息处理  数据推送模式  主动查询模式接入系统档案改造建议 ID 名称属性 A000001 康泰克颗粒物集团大数据对象业务档案数据对象(运营大数据,系统共享数据) ID(操作码) 名称主ID 属性进货地区 RRR0005003 康泰克 A000001 颗粒物上海 5.5 RRR0005004 康泰克 A000001 颗粒物北京 5.6 业务单据业务单据ID 销售对象数量 DDD0000001 RRR000500 3 500 大数据部署模式  独立部署模式  独立中间件  独立数据库  所有系统均通过服务与管理平台对接  模块部署模式  作为NC模块部署  共享NC基本档案数据目录  大数据建设目的及建设方式  大数据方案解读  产品运行效果展示系统运行效果演示大数据管理平台数据初始化服务数据日常申报服务数据查询服务数据管理服务数据推送服务大数据服务总线发布方式数据发布格式接入业务系统Demo 数据无缝提交数据推送大数据管理平台数据服务总线接入系统谢谢！