大数据平台数据治理整体解决方案 大数据分析平台数据治理建设方案 下载本文

大数据分析平台数据治理建设方案

由共享信息服务系统、编目系统、目录传输系统、目录服务系统组成。

主要要求如下: 1、

提供信息资源目录的编目、注册、审核发布、查询和管

理功能; 2、

支持结构化资源编目、非结构化资源编目和资源服务编

目; 3、

资源目录的编制应具备以需求为导向和以主动提供为

基础的两种编目方法,资源目录方以多种方式对本单位的数据资源进行提取编目,最终形成本单位的共享目录进行上报; 4、

资源管理可能对各单位上报的信息目录进行审核,对审

核通过的资源目录进行发布,对未通过审核发布注明未通过原因后进行回退。资源提供方收到反馈信息后对资源目录进行修正后可重新上报; 5、

资源使用方可通过目录服务系统进行多种方式的导航

或检索以对目录查找定位,非结构化数据可直接下载浏览,对于需要的资源目录按照本单位下需使用的该项数据的系统提出申请,同时选择需要使用该项目录下所属数据的方式(主动调用、推送等方式),资源按照共享性质(强制共享、条件共享、禁止共享)分别提交到不同的审批流程进行审批。流程审批通过则将结果发送给交换系统,若不通过则反馈给申请方,申请方可选择申诉和关闭申请; 6、

资源使用方可对资源目录中未发布或已发布但不满足

45

大数据分析平台数据治理建设方案

的资源目录进行需求申请,来引导资源提供方进行编目。资源提供方根据资源使用方的需求申请对目录进行变更或添加,对需进行变更的目录进行版本的控制管理; 7、

目录申请使用审批的结果可作为进行交换的依据,可通

过多种方式将审批结果与交换进行联通,做到审批结果发生变更,交换部分能实时响应。同时支持各区在本平台的进行目录编制、申请、授权等,同时提供审批结果接口、供区平台调用; 8、

负责本级政府基础信息资源和其他共享信息资源的目

录信息的统一管理; 9、

用户/角色管理支持树形目录方式操作;

10、 统一的信息资源更新机制等,保证数据资源的安全、完整、有效,实现方便高效的共享;

11、 结合CA提供统一的用户、权限、谁管理; 12、 支持目录系统的分级部署(支持目录分中心); 13、 目录体系应适应机构的调整而灵活发生变化; 14、 支持分级授权管理,支持自定义组、角色等权限,账户权限与交换系统互通;

15、 灵活的生成报表,如满足度统计、全市资源目录现状统计等,支持灵活的指定报表字段、条件,报表武装(如甘特图、饼图等);

16、 完善的日志记录功能,完整的记录用户的操作过程,并支持对日志进行多种条件的查找(如:日期、操作类型等); 17、 界面风格简洁,保留一期的用户习惯,完整的用户操作

46

大数据分析平台数据治理建设方案

手册,编目指导手册;

18、 在系统提供服务的同时,必须有良好的空难管理机制,在出现软硬件故障的时候,在最短的时间内能启用备用方案来提供服务。 2.1.3.2.2

交换体系需求

信息资源交换体系由信息库系统和信息交换系统组成,信息库系统由部门业务信息库、交换信息库、共享信息库等组成;信息交换系统由交换桥接、前置交换、交换传输、交换管理等子系统组成。实现通过交换桥接子系统将部门需要交换的信息交换到前置交换信息库,在交换管理子系统的流程控制下,通过交换传输子系统、前置交换子系统,把需要交换的信息定向传输到接收部门,同时把共享信息实时交换到共享信息库。 主要要求如下: 1、

支持结构化数据、非结构化数据、资源服务三种资源数

据的交换; 2、

提供资源获取、资源推送、资源比对三种资源交换基础

服务,对于三种基础资源交换服务外的资源交换使用业务协同流程编排进行支持; 3、

支持部门间业务协同的资源数据交换:支持服务流程的

组装、映射和编排,提供各种业务协同场合的支持,包括长流程、短流程及人工参与; 并提供图形化简洁的设计工

47

大数据分析平台数据治理建设方案

具,支持业务建模到具体实现的转换,能提供多个版本流程同时运行的能力; 4、

根据跨部门政务信息共享及业务协同的实际需要,支持

多个交换城之间信息交换及交换域管理; 5、

提供交换信息库之间的信息处理和稳定可靠、不间断的

信息传递; 6、

建立一个统一的数据交换标准,将各个应用系统的数据

转换成统一的标准格式,来保证不同系统间数据交换的一致性; 7、

对交换过程过管可控可管可审计,对于不同用户的不同

操作记行日志记录,可按多种条件对日志进行定位、查看与统计,对数据交换的情况可进行多种形式的报表统计; 8、

制定接入单位的接口规范,协助各接入单位进行平台的

接入; 9、

支持与异构应用系统的无缝集成,并为其它应用系统提

供所需接口;

10、 支持数据库实时同步和空间地理服务调用; 11、 交换体系应适应机构的调整而灵活发生变化; 12、 系统能自动获取各部门发布的资源目录,在对应的部门前置机上生成相应的库表,并生成相应的服务且能对其进行测试,在目录发生版本变化时,能够对应的做出数据库表版本和服务版本的变化及相应的生命周期管理; 13、 灵活便捷的前置桥接配置工具,C/S和B/S两种配置方式,配置过程简单易用,要支持多种数据的抽取方式(如

48

大数据分析平台数据治理建设方案

实时、定时更新),抽取内容支持结构和非结构数据,抽取过程及抽取日志管理中心可管理、监控及查看; 14、 服务通过中心与目录相接合,通过目录审核权限的结果来进行交换,同时支持服务、推送、一对多、多对一等多种方式来交换,中心可通过灵活的指配路由规则来实现交换,对于因目录版本变更引起的交换系统变化要提供生命周期管理;

15、 系统除自身对数据的交换提供多种方式的加密等安全手段,结合CA平台来实现数据的认证,加解密; 16、 提供多种高可用性手段,如双机互备、集群等来保持系统能够7*24小时运行,对平台各种数据采取多种方式的备份,在故障发生时能快速、完整的恢复数据。 2.1.3.3 平台监督及运行管理需求

通过平台各子系统的接口和资源属性配置,实现平台系统配置、运行状态、存储、备份和恢复等方面的管理工作。平台监督及运行管理主要是对目录管理服务体系和交换管理体系进行监督及运行过程中的跟踪管理,如下图所示:

平台监督及运行管理主要的需求如下: 1、

平台配置管理

用户管理:能够建 立组织、用户、角色等管理要素,提供增加、修改、删除等管理功能。

权限/策略管理:提供权限定义和资源访问规则描述,根据资

49