财政大数据分析平台建设方案V3.0
财政大数据分析平台
建 设 方 案
财政大数据分析平台建设方案V3.0
目 录
一 数据管理的现状 .................................................................................. 4 二 数据挖掘的概述 .................................................................................. 5
(一) (二)
数据挖掘概念 ........................................................................................ 5 数据挖掘目标 ........................................................................................ 6
三 数据挖掘体系 ..................................................................................... 6 四 数据挖掘核心领域 ............................................................................... 7
(一) (二) (三) (四) (五) (六) (七)
数据模型 .............................................................................................. 7 数据生命周期 ........................................................................................ 8 数据标准 .............................................................................................. 9 主数据 ................................................................................................ 11 数据质量 ............................................................................................ 12 数据服务 ............................................................................................ 14 数据安全 ............................................................................................ 14
五 数据挖掘保障机制 ............................................................................. 15
(一)
(1) (2) (3) (二)
制度章程 ............................................................................................ 15 规章制度 ............................................................................................ 15 管控办法 ............................................................................................ 16 考核机制 ............................................................................................ 16 数据挖掘组织 ...................................................................................... 17
财政大数据分析平台建设方案V3.0
(1) (2) (3) (三) (四)
(1) (2)
组织架构 ............................................................................................ 17 组织层次 ............................................................................................ 18 组织职责 ............................................................................................ 19 流程管理 ............................................................................................ 21 IT技术应用 ......................................................................................... 21 支撑平台 ............................................................................................ 21 技术规范 ............................................................................................ 24
附件A 数据管理规范 ............................................................................ 37 附件B 数据质量评估办法 ....................................................................... 55 附件C 数据质量管理流程 ....................................................................... 59
智慧财政局大数据分析系统平台整体解决方案V3.0
关于数据挖掘的理解
数据管理的现状
根据行业信息化发展的现状,结合当今行业数据挖掘的要
求,大型集团或政务管理部门现阶段数据管理方面存在以下的不足:
(1) 数据多头管理,缺少专门对数据管理进行监督和控制的组织。信息系统的建设和管理职能分散在各部门,致使数据管理的职责分散,权责不明确。组织机构各部门关注数据的角度不一样,缺少一个组织从全局的视角对数据进行管理,导致无法建立统一的数据管理规程、标准等,相应的数据管理监督措施无法得到落实。组织机构的数据考核体系也尚未建立,无法保障数据管理标准和规程的有效执行。
(2) 多系统分散建设,没有规范统一的省级数据标准和数据模型。组织机构为应对迅速变化的市场和社会需求,逐步建立了各自的信息系统,各部门站在各自的立场生产、使用和管理数据,使得数据分散在不同的部门和信息系统中,缺乏统一的数据规划、可信的数据来源和数据标准,导致数据不规范、不一致、冗余、无法共享等问题出现,组织机构各部门对数据的理解难以应用一致的语言来描述,导致理解不一致。
(3) 缺少统一的主数据,组织机构核心系统间的人员等
智慧财政局大数据分析系统平台整体解决方案3.0
主要信息并不是存储在一个独立的系统中,或者不是通过统一的业务管理流程在系统间维护。缺乏对集团公司或政务单位主数据的管理,就无法保障主数据在整个业务范围内保持一致、完整和可控,导致业务数据正确性无法得到保障。
(4) 缺乏统一的集团型数据质量管理流程体系。当前现状中数据质量管理主要由各组织部门分头进行;跨局跨部门的数据质量沟通机制不完善;缺乏清晰的跨局跨部门的数据质量管控规范与标准,数据分析随机性强,存在业务需求不清的现象,影响数据质量;数据的自动采集尚未全面实现,处理过程存在人为干预问题,很多部门存在数据质量管理人员不足、知识与经验不够、监管方式不全面等问题;缺乏完善的数据质量管控流程和系统支撑能力。
(5) 数据全生命周期管理不完整。目前,大型集团或政务单位,数据的产生、使用、维护、备份到过时被销毁的数据生命周期管理规范和流程还不完善,不能确定过期和无效数据的识别条件,且非结构化数据未纳入数据生命周期的管理范畴;无信息化工具支撑数据生命周期状态的查询,未有效利用元数据管理。
数据挖掘的概述
2.1 数据挖掘概念
数据挖掘是指将数据作为组织资产而展开的一系列的具体化工作,是对数据的全生命周期管理。
5