气象大数据平台建设方案

气象大数据平台

建 设 方 案

i

气象大数据平台建设方案

目录

第一章 引言 .......................................................................................................................... 1 第二章 大数据平台的基本构成 ............................................................................................... 3 2.1 概述 ..................................................................................................................................... 3 2.2 数据基础决定平台框架 ..................................................................................................... 4

2.2.1 从分类大数据到选择大数据解决方案 ................................................................... 4 2.2.2 依据大数据类型对业务问题进行分类 ................................................................... 7 2.2.3 使用大数据类型对大数据特征进行分类 ............................................................... 9

2.3 数据分类决定应用方案 ................................................................................................... 12 2.4 大数据平台的逻辑层次 ................................................................................................... 13

2.4.1 大数据集成层 ......................................................................................................... 14 2.4.2 大数据存储层 ......................................................................................................... 15 2.4.3 大数据分析层 ......................................................................................................... 15 2.4.4 大数据应用层 ......................................................................................................... 16

第三章 大数据平台的功能架构 ............................................................................................. 16 3.1 组件构成 ........................................................................................................................... 16

3.1.1 横向层 ..................................................................................................................... 16

3.1.1.1 大数据集成层 ............................................................................................................... 16 3.1.1.2 大数据存储层 ............................................................................................................... 19 3.1.1.3 分析层 ........................................................................................................................... 20 3.1.1.4 使用层 ........................................................................................................................... 21

3.1.2 垂直层 ..................................................................................................................... 23

3.1.2.1 信息集成 ....................................................................................................................... 24 3.1.2.2 大数据治理 ................................................................................................................... 24 3.1.2.3 服务质量层 ................................................................................................................... 25 3.1.2.4 系统管理 ....................................................................................................................... 27

i

气象大数据平台建设方案

3.2 功能应用 ........................................................................................................................... 28 3.3 原子模式 ........................................................................................................................... 28

3.3.1 数据使用组件 ......................................................................................................... 29

3.3.1.1 可视化组件 ................................................................................................................... 29 3.3.1.2 即席发现组件 ............................................................................................................... 30 3.3.1.3 数据转储组件 ............................................................................................................... 31 3.3.1.4 信息推送/通知组件 ..................................................................................................... 31 3.3.1.5 自动响应组件 ............................................................................................................... 32

3.3.2 数据处理组件 ......................................................................................................... 32

3.3.2.1 历史数据分析组件 ....................................................................................................... 32 3.3.2.2 高级分析组件 ............................................................................................................... 33 3.3.2.3 预处理原始数据组件 ................................................................................................... 34 3.3.2.4 即席分析组件 ............................................................................................................... 35

3.3.3 数据访问组件 ......................................................................................................... 36

3.3.3.1 web和社交媒体访问组件............................................................................................. 36 3.3.3.2 物联网设备数据的访问组件 ........................................................................................ 39 3.3.3.3 基础数据(观测数据和生产数据)的访问模式 ............................................................ 40

3.3.4 数据存储组件 ......................................................................................................... 41

3.3.4.1 分布式非结构化数据存储组件 .................................................................................... 41 3.3.4.2 分布式结构化数据存储组件 ........................................................................................ 42 3.3.4.3 传统数据存储组件 ....................................................................................................... 42 3.3.4.4 云存储组件 ................................................................................................................... 42

3.4 复合模式 ........................................................................................................................... 43

3.4.1 存储和探索复合组件 ............................................................................................. 43 3.4.2 专业分析和预测分析组件 ..................................................................................... 44 3.4.3 OLAP在线分析 ........................................................................................................ 45 3.4.4 原子模式和符合模式的映射 ................................................................................. 46

3.4.4.1.1 图 10. 将原子模式映射到架构层 .................................................................... 48

3.5 解决方案模式（模拟应用场景） ................................................................................... 48

ii