大数据分析平台数据治理建设方案
7.2.1.1.5.1 7.2.1.1.5.2 7.2.1.1.5.3 7.2.1.1.5.4 7.2.1.1.5.5 7.2.1.1.5.6 7.2.1.1.5.7 7.2.1.1.5.8 7.2.1.1.5.9 7.2.1.1.5.10 7.2.1.2
数据源管理 ............................................................................................ 265 新建数据源 ............................................................................................ 266 编辑数据源 ............................................................................................ 267 删除数据源 ............................................................................................ 268 测试数据源 ............................................................................................ 269 服务器管理 ............................................................................................ 270 新建服务器账户 ..................................................................................... 270 编辑服务器账户 ..................................................................................... 271 删除服务器账户 ..................................................................................... 272 测试服务器连接 ................................................................................... 273
工作流设计 ............................................................................................................... 274 事件 ..................................................................................................................... 274 任务 ..................................................................................................................... 275
数据流 .................................................................................................... 275 质量评估 ................................................................................................ 278 批量脚本 ................................................................................................ 280
7.2.1.2.1 7.2.1.2.2
7.2.1.2.2.1 7.2.1.2.2.2 7.2.1.2.2.3
7.2.1.2.2.4 HiveQL脚本 ............................................................................................ 282 7.2.1.2.2.5 7.2.1.2.2.6
邮件 ........................................................................................................ 284 存储过程 ................................................................................................ 287
7.2.1.2.2.7 exhive ..................................................................................................... 290 7.2.1.2.2.8 imhive ..................................................................................................... 293 7.2.1.2.2.9 imhbase ................................................................................................... 298 7.2.1.2.2.10 7.2.1.2.3
空节点 .................................................................................................. 301
网关节点 ............................................................................................................. 303
包容网关 ................................................................................................ 303 并行网关 ................................................................................................ 305 排它网关 ................................................................................................ 306
7.2.1.2.3.1 7.2.1.2.3.2 7.2.1.2.3.3 7.2.1.2.4
依赖关系配置...................................................................................................... 307
节点连线配置......................................................................................... 308 循环条件配置......................................................................................... 310
x
7.2.1.2.4.1 7.2.1.2.4.2
大数据分析平台数据治理建设方案
7.2.1.2.5 7.2.1.3
工作流的发布...................................................................................................... 311
监控中心 ................................................................................................................... 312 工作流调度 ......................................................................................................... 312
配置调度策略......................................................................................... 312 删除调度策略......................................................................................... 316 立即执行工作流 ..................................................................................... 317
7.2.1.3.1
7.2.1.3.1.1 7.2.1.3.1.2 7.2.1.3.1.3 7.2.1.3.2
工作流监控 ......................................................................................................... 318
主界面介绍 ............................................................................................ 318 监控导航栏 ............................................................................................ 319 监控列表 ................................................................................................ 320 工作流概况 ............................................................................................ 322
7.2.1.3.2.1 7.2.1.3.2.2 7.2.1.3.2.3 7.2.1.3.2.4 7.2.1.3.3
任务监控 ............................................................................................................. 326
界面介绍 ................................................................................................ 326 数据流动态图......................................................................................... 327 任务信息 ................................................................................................ 329 任务统计 ................................................................................................ 330 详细日志 ................................................................................................ 330
7.2.1.3.3.1 7.2.1.3.3.2 7.2.1.3.3.3 7.2.1.3.3.4 7.2.1.3.3.5
7.2.2 数据稽查工具（Profiler） ................................................................................. 332
首页 ........................................................................................................................... 332 数据概况统计 ........................................................................................................... 332
7.2.2.1 7.2.2.2
7.2.2.2.1 Schema概况统计 ................................................................................................. 333 7.2.2.2.2 7.2.2.2.3 7.2.2.2.4 7.2.2.3
表概况统计 ......................................................................................................... 333 敏感信息探查...................................................................................................... 333 主外键关联探查 .................................................................................................. 334
数据列分析 ............................................................................................................... 335 基本分析 ............................................................................................................. 335 结构分析 ............................................................................................................. 336 频率分析 ............................................................................................................. 337 分布统计 ............................................................................................................. 338
7.2.2.3.1 7.2.2.3.2 7.2.2.3.3 7.2.2.3.4 7.2.2.4
数据关联探索 ........................................................................................................... 339
xi
大数据分析平台数据治理建设方案
7.2.2.4.1 7.2.2.4.2 7.2.2.5
字典规则探索...................................................................................................... 340 函数依赖探索...................................................................................................... 340
值域分析 ................................................................................................................... 341 启动任务创建...................................................................................................... 342 选择剖析对象...................................................................................................... 343 设置剖析范围...................................................................................................... 344 设置任务参数...................................................................................................... 344 选择运行方式...................................................................................................... 346 结果展示 ............................................................................................................. 347 规则入库 ............................................................................................................. 350
7.2.2.5.1 7.2.2.5.2 7.2.2.5.3 7.2.2.5.4 7.2.2.5.5 7.2.2.5.6 7.2.2.5.7 7.2.2.6
数据范围分析 ........................................................................................................... 354 启动任务创建...................................................................................................... 355 选择剖析对象...................................................................................................... 356 设置剖析范围...................................................................................................... 357 设置任务参数...................................................................................................... 358 选择运行方式...................................................................................................... 360 结果展示 ............................................................................................................. 361
7.2.2.6.1 7.2.2.6.2 7.2.2.6.3 7.2.2.6.4 7.2.2.6.5 7.2.2.6.6 7.2.2.7
手工定义 ................................................................................................................... 363 启动任务创建...................................................................................................... 363 选择规则 ............................................................................................................. 364 设置剖析对象...................................................................................................... 365 设置剖析范围...................................................................................................... 366 手工规则制定...................................................................................................... 367
函数依赖 ................................................................................................ 367 字典规则 ................................................................................................ 373
7.2.2.7.1 7.2.2.7.2 7.2.2.7.3 7.2.2.7.4 7.2.2.7.5
7.2.2.7.5.1 7.2.2.7.5.2
7.2.2.7.5.3 SQL规则 .................................................................................................. 378 7.2.2.8
质量评估 ................................................................................................................... 384 评估报告生成...................................................................................................... 384 评估报告下载...................................................................................................... 385
7.2.2.8.1 7.2.2.8.2
7.2.3 数据标准管理工具（DS） ................................................................................. 385
xii
大数据分析平台数据治理建设方案
7.2.3.1 数据元管理 ............................................................................................................... 386 数据元主题分类 .................................................................................................. 387
添加分类 ................................................................................................ 387 修改分类 ................................................................................................ 388 删除分类 ................................................................................................ 389
7.2.3.1.1
7.2.3.1.1.1 7.2.3.1.1.2 7.2.3.1.1.3 7.2.3.1.2
数据元信息管理 .................................................................................................. 390
新增数据元 ............................................................................................ 390 修改数据元 ............................................................................................ 393 删除数据元 ............................................................................................ 394 查看数据元 ............................................................................................ 395
7.2.3.1.2.1 7.2.3.1.2.2 7.2.3.1.2.3 7.2.3.1.2.4 7.2.3.1.3
元规则管理 ......................................................................................................... 395
新增元规则 ............................................................................................ 396 修改元规则 ............................................................................................ 407 删除元规则 ............................................................................................ 408
7.2.3.1.3.1 7.2.3.1.3.2 7.2.3.1.3.3 7.2.3.2
标准包管理 ............................................................................................................... 408 新增标准包 ......................................................................................................... 409 修改标准包 ......................................................................................................... 412 删除标准包 ......................................................................................................... 412 查看标准包 ......................................................................................................... 413
7.2.3.2.1 7.2.3.2.2 7.2.3.2.3 7.2.3.2.4 7.2.3.3 7.2.3.4 7.2.3.5
内置丰富数据元标准 ............................................................................................... 414 灵活的扩展性 ........................................................................................................... 415 数据全生命周期的标准管理体系 ........................................................................... 416
7.2.4 数据质量提升工单系统 ..................................................................................... 417
资源中心角色 ........................................................................................................... 417 待处理工单（分派） .......................................................................................... 417 待处理工单（复核） .......................................................................................... 421 待处理工单（决策申请挂起） .......................................................................... 423 待处理工单（决策申请驳回） .......................................................................... 425 流程处理中工单 .................................................................................................. 427 已归档工单 ......................................................................................................... 428
xiii
7.2.4.1
7.2.4.1.1 7.2.4.1.2 7.2.4.1.3 7.2.4.1.4 7.2.4.1.5 7.2.4.1.6
大数据分析平台数据治理建设方案
7.2.4.1.7 7.2.4.1.8 7.2.4.2
工单状态统计分析 .............................................................................................. 429 问题统计趋势图分析 .......................................................................................... 430
交办单位角色 ........................................................................................................... 431 待处理工单 ......................................................................................................... 431 流程处理中工单 .................................................................................................. 435 已归档工单 ......................................................................................................... 436 工单状态统计分析 .............................................................................................. 437 问题统计趋势图分析 .......................................................................................... 437
7.2.4.2.1 7.2.4.2.2 7.2.4.2.3 7.2.4.2.4 7.2.4.2.5 7.2.4.3
上级领导角色 ........................................................................................................... 438 待处理工单（上级决策挂起） .......................................................................... 439 待处理工单（上级决策驳回） .......................................................................... 441 流程处理中工单 .................................................................................................. 443 已归档工单 ......................................................................................................... 444 工单状态统计分析 .............................................................................................. 445 问题统计趋势图分析 .......................................................................................... 446
7.2.4.3.1 7.2.4.3.2 7.2.4.3.3 7.2.4.3.4 7.2.4.3.5 7.2.4.3.6
7.3 数据归集与关联集成 .................................................................................................. 447
7.3.1 数据抽取 ............................................................................................................. 447
全量抽取 ................................................................................................................... 447 增量抽取 ................................................................................................................... 448
7.3.1.1 7.3.1.2
7.3.2 数据关联 ............................................................................................................. 449
字典规则关联 ........................................................................................................... 451 函数依赖关联 ........................................................................................................... 451
7.3.2.1 7.3.2.2
7.3.3 7.4
数据加载 ............................................................................................................. 451
数据质量评估与标准转换 .......................................................................................... 452
7.4.1 7.4.2 7.4.3 7.5
数据探索 ............................................................................................................. 452 数据稽查 ............................................................................................................. 456 数据标准化 ......................................................................................................... 458
数据质量清洗 .............................................................................................................. 459
7.5.1 7.5.2
数据清洗 ............................................................................................................. 459 流式智能修复 ..................................................................................................... 460
xiv