大数据平台数据治理整体解决方案 大数据分析平台数据治理建设方案 下载本文

大数据分析平台数据治理建设方案

7.5.3 7.6

数据质量提升 ..................................................................................................... 461

数据质量监测 .............................................................................................................. 464

7.6.1 7.6.2

数据质量监控 ..................................................................................................... 465 数据监测规则管理 ............................................................................................. 466

手工定义规则 ........................................................................................................... 466 技术定义 ............................................................................................................. 466 基础业务定义...................................................................................................... 466

7.6.2.1

7.6.2.1.1 7.6.2.1.2 7.6.2.2 7.6.2.3 7.6.2.4

规则导入 ................................................................................................................... 467 规则维护 ................................................................................................................... 468 规则校验 ................................................................................................................... 470

7.6.3 监测与告警 ......................................................................................................... 470

质量检测 ................................................................................................................... 471 质量防火墙 ............................................................................................................... 471 事件通知 ................................................................................................................... 472

7.6.3.1 7.6.3.2 7.6.3.3

7.6.4 问题工单处理 ..................................................................................................... 472

数据问题处理 ........................................................................................................... 472 数据问题写入接口 ................................................................................................... 472 手工定义问题 ........................................................................................................... 473 数据问题派发导出 ................................................................................................... 473 数据问题状态管理 ................................................................................................... 473

7.6.4.1 7.6.4.2 7.6.4.3 7.6.4.4 7.6.4.5

7.6.5 7.6.6

工单处理流程 ..................................................................................................... 473 数据质量循环管理服务体系 ............................................................................. 474

问题数据工单循环体系 ........................................................................................... 475 应用数据反馈循环体系 ........................................................................................... 475

7.6.6.1 7.6.6.2

7.6.7 数据质量报告 ..................................................................................................... 476

任务创建 ................................................................................................................... 476 规则选择 ................................................................................................................... 477 运行方式 ................................................................................................................... 479 结果展示 ................................................................................................................... 479 评估报告 ................................................................................................................... 481

xv

7.6.7.1 7.6.7.2 7.6.7.3 7.6.7.4 7.6.7.5

大数据分析平台数据治理建设方案

7.6.8 人工处理 ............................................................................................................. 481

人工定义问题 ........................................................................................................... 482 人工定义修复提升规则 ........................................................................................... 482 数据质量问题工单处理 ........................................................................................... 482

7.6.8.1 7.6.8.2 7.6.8.3

第8章 8.1 8.2 8.3

资源数据库建设方案 ......................................................................................... 482 概述 .............................................................................................................................. 482 架构设计 ...................................................................................................................... 483 数据仓库建设 .............................................................................................................. 485

8.3.1 8.3.2

概述..................................................................................................................... 485 设计模式 ............................................................................................................. 486

维度建模 ................................................................................................................... 486 事实表 ....................................................................................................................... 486 维度表 ................................................................................................................. 487 粒度 ..................................................................................................................... 487

8.3.2.1 8.3.2.2

8.3.2.2.1 8.3.2.2.2 8.3.2.3

模式结构选择 ........................................................................................................... 488

8.3.3 缓冲区 ................................................................................................................. 491

概述 ........................................................................................................................... 491 数据来源 ................................................................................................................... 491 数据存储 ................................................................................................................... 492

8.3.3.1 8.3.3.2 8.3.3.3

8.3.4 贴源区 ................................................................................................................. 492

概述 ........................................................................................................................... 492 数据存储 ................................................................................................................... 493 数据模型设计 ........................................................................................................... 494 贴源区的特点与作用 ............................................................................................... 495

8.3.4.1 8.3.4.2 8.3.4.3 8.3.4.4

8.3.5 整合区 ................................................................................................................. 496

概述 ........................................................................................................................... 496 基础库 ....................................................................................................................... 500 人口库 ................................................................................................................. 501

基本信息 ................................................................................................ 501

xvi

8.3.5.1 8.3.5.2

8.3.5.2.1

8.3.5.2.1.1

大数据分析平台数据治理建设方案

8.3.5.2.1.2 8.3.5.2.1.3 8.3.5.2.1.4 8.3.5.2.1.5 8.3.5.2.1.6 8.3.5.2.1.7 8.3.5.2.1.8 8.3.5.2.1.9 8.3.5.2.1.10 8.3.5.2.2

扩展信息 ................................................................................................ 502 出生信息 ................................................................................................ 507 居住信息 ................................................................................................ 509 教育信息 ................................................................................................ 512 社保信息 ................................................................................................ 514 婚姻信息 ................................................................................................ 519 计划生育信息......................................................................................... 521 子女信息 ................................................................................................ 524 死亡信息 .............................................................................................. 527

法人库 ................................................................................................................. 529

基本信息 ................................................................................................ 529 常态信息 ................................................................................................ 531 单位社保登记信息 ................................................................................. 535 单位缴社保信息 ..................................................................................... 537 单位纳税记录......................................................................................... 539 食品餐饮业 ............................................................................................ 543

8.3.5.2.2.1 8.3.5.2.2.2 8.3.5.2.2.3 8.3.5.2.2.4 8.3.5.2.2.5 8.3.5.2.2.6 8.3.5.2.3

房屋库 ................................................................................................................. 545

楼栋信息 ................................................................................................ 545 房屋信息 ................................................................................................ 560

8.3.5.2.3.1 8.3.5.2.3.2 8.3.5.2.4

车辆库 ................................................................................................................. 578

业户基本信息......................................................................................... 578 业户年审信息......................................................................................... 589 人与车的关系......................................................................................... 591 车辆基本信息......................................................................................... 592 驾驶员基本信息 ..................................................................................... 597

8.3.5.2.4.1 8.3.5.2.4.2 8.3.5.2.4.3 8.3.5.2.4.4 8.3.5.2.4.5 8.3.5.2.5

地址库 ................................................................................................................. 600

类别定义 ................................................................................................ 600 模式定义 ................................................................................................ 603

8.3.5.2.5.1 8.3.5.2.5.2 8.3.5.3

扩展库 ....................................................................................................................... 609

8.3.6 主题库建设 ......................................................................................................... 609

xvii

大数据分析平台数据治理建设方案

8.3.6.1 8.3.6.2 8.3.6.3 8.3.6.4

概述 ........................................................................................................................... 609 功能定位 ................................................................................................................... 610 数据来源 ................................................................................................................... 610 模型设计 ................................................................................................................... 610 模型设计策略...................................................................................................... 610 建模过程 ............................................................................................................. 610

8.3.6.4.1 8.3.6.4.2 8.3.6.5 8.3.6.6 8.3.6.7

数据存储 ................................................................................................................... 614 汇总区建设 ............................................................................................................... 615 集市区建设 ............................................................................................................... 617

8.3.7 历史数据库 ......................................................................................................... 619

数据源 ....................................................................................................................... 619 数据存储 ................................................................................................................... 620 数据初始化 ............................................................................................................... 620 增量数据入库 ........................................................................................................... 621

8.3.7.1 8.3.7.2 8.3.7.3 8.3.7.4

8.3.8 非结构化数据库 ................................................................................................. 621

数据源 ....................................................................................................................... 621 数据存储 ................................................................................................................... 621 数据初始化 ............................................................................................................... 622 增量数据入库 ........................................................................................................... 622

8.3.8.1 8.3.8.2 8.3.8.3 8.3.8.4

8.4 数据初始化及增量数据入库 ...................................................................................... 622

8.4.1 8.4.2 8.4.3 第9章 9.1

存量结构化数据初始化 ..................................................................................... 622 存量非结构化数据初始化 ................................................................................. 623 增量数据入库 ..................................................................................................... 623

智慧城市数据应用建设 ..................................................................................... 624

基本公共服务配置与供给管理平台 .......................................................................... 624

9.1.1 9.1.2

建设目标与原则 ................................................................................................. 624 服务决策者功能 ................................................................................................. 625

登陆设计 ................................................................................................................... 625 服务综合分析 ........................................................................................................... 626

xviii

9.1.2.1 9.1.2.2

大数据分析平台数据治理建设方案

9.1.2.2.1 9.1.2.2.2 9.1.2.2.3 9.1.2.2.4 9.1.2.3

服务供给综合分析 .............................................................................................. 626 服务需求综合分析 .............................................................................................. 627 服务配置和需求预测分析 .................................................................................. 629 财务投入分析...................................................................................................... 632

服务综合评价 ........................................................................................................... 633 服务配置和满意度评价 ...................................................................................... 633

9.1.2.3.1 9.1.2.4

服务综合对比 ........................................................................................................... 633 公共服务配置对比 .............................................................................................. 633

服务配置和需求评价 ............................................................................. 633 服务配置和标准评价 ............................................................................. 633

9.1.2.4.1

9.1.2.4.1.1 9.1.2.4.1.2 9.1.2.4.2

基本公共服务政策标准对比 .............................................................................. 633

国外、国内主要城市对比 ..................................................................... 634 过去、现在、未来对比 ......................................................................... 636 专题之间、区域之间对比 ..................................................................... 636 社会建设案例检索对比 ......................................................................... 636 政策建议 ................................................................................................ 636

9.1.2.4.2.1 9.1.2.4.2.2 9.1.2.4.2.3 9.1.2.4.2.4 9.1.2.4.2.5 9.1.2.5 9.1.2.6

服务运行监控管理 ................................................................................................... 637 财政投入管理 ........................................................................................................... 637

9.1.3 服务规划者功能 ................................................................................................. 638

登陆设计 ................................................................................................................... 638 专题服务分析 ........................................................................................................... 639 服务配置供给分析 .............................................................................................. 639 服务需求分析...................................................................................................... 640 服务配置和需求预测分析 .................................................................................. 642 财务投入分析...................................................................................................... 645

9.1.3.1 9.1.3.2

9.1.3.2.1 9.1.3.2.2 9.1.3.2.3 9.1.3.2.4 9.1.3.3

专题服务评价 ........................................................................................................... 645 服务配置和标准评价 .......................................................................................... 645 服务配置和需求评价 .......................................................................................... 645 服务配置和满意度评价 ...................................................................................... 645

9.1.3.3.1 9.1.3.3.2 9.1.3.3.3 9.1.3.4

专题服务对比 ........................................................................................................... 646

xix