CTG-MBOSS EDA-ODS:总体规范V1.0 下载本文

CTG-MBOSS 规范

现应支持多种图表方式,如饼图、柱图、线图等;支持报表数据导出为其他文件类型,如EXCEL、CSV、XML、PDF、WEB存档文件等;支持报表精确打印控制。ODS中可实现的固定报表有客户品牌统计报表、企业数据应用门户部分报表等。 3. 动态报表

基于ODS整合好的数据,可以利用报表工具按使用者关心的维度和指标对数据进行主题性的统计,动态报表中维度和指标不固定,可在数据模型支持的范围内变换。在ODS上可实现以下的动态报表:用户发展数、使用量、业务收入、欠费、竞争统计;市场计划统计与监督;商机的统计和监控;KPI考核与监控等。 4. 计算

ODS系统承担需批量计算的属性数据的计算功能, ODS系统支持配置业务规则,并基于整合好的数据按照设定好的业务规则进行属性数据计算,计算结果不在ODS系统中直接更新,而是由ODS返回到该属性数据的属主生产系统,由属主生产系统完成该属性数据的更新后再通过数据抽取、加载过程进入ODS之后更新。可在ODS上实现的批量属性数据的计算包括:客户品牌标签的标识、客户积分计算、客户信用度计算等。

2.4.4 数据质量管控

ODS在数据收敛的过程中,能完成以下数据质量管控工作: 1)数据质量校验

根据规则对ODS所存储的数据进行一致性、完整性、正确性的校验,形成数据校 验结果并交付源系统进行修正。 2)数据质量管控

通过建立企业数据的质量标准、数据管控的组织、数据管控的流程,对数据质量进行统一管控,达到数据质量逐步完善。

版权所有,注意保密 12

E-O:总体规范

CTG-MBOSS 规范

3 系统架构

3.1 数据架构

ODS数据层次架构分为接口数据层,整合数据层、汇总数据层、数据共享层、元数据层,如下图所示:

图 3-1 ODS系统数据架构

对于各数据层次的解释详见以下描述。 3.1.1 接口数据层

接口数据层存储的是由ODS从源系统采集的数据,其主要特点如下:

版权所有,注意保密 13

E-O:总体规范

CTG-MBOSS 规范

1. 接口数据层存储ODS采集的外围接口数据,如CRM、计费、OSS等系统需采集到

ODS的数据。

2. 接口数据层的数据模型与外围系统保持一致。

3. 接口数据层的数据与外系统保持实时/准实时同步,对于有实时要求的数据域,

应尽可能提高数据的实时性。

3.1.2 整合数据层

整合数据层存储是经过数据清洗、转换、整合后的运营数据,是ODS的核心数据层,其主要特点如下:

1. 整合数据层是ODS存储数据的核心层。

2. 整合数据层中的数据原则上是统一编码格式的数据,可作为企业数据标准指导外

围系统逐步统一数据格式。

3. 存储数据模型遵循集团EDM模型,按数据主题域体系组织,落实具有物理特征的

EDM逻辑模型。

3.1.3 汇总数据层

汇总数据层存储根据主题维度形成的企业统计、汇总数据,其主要特点如下: 1. 根据主题报表加工需要,形成汇总数据。

2. 按主题存储汇总数据,通过日期、地区、产品规格、销售品规格、渠道类型、处

理类型等维度对运营数据进行计算后形成汇总数据存储。

3. 可基于原有汇总数据基础上,根据需要继续汇总,形成多级汇总数据。 3.1.4 数据共享层

数据共享层是基于ODS中收敛整合好的数据,对外提供数据共享,数据共享层原则上不提供数据的存储,其主要特点如下:

1. 数据共享层统一对外系统提供共享数据。

版权所有,注意保密 14

E-O:总体规范

CTG-MBOSS 规范

2. 对各系统共享的信息尽可能从整合数据层映射、共用。

另外,对于市话祥单类数据,其特点是数据量巨大,并且此类数据进入ODS并不需要复杂的转换与整合,而只是简单的复制到ODS中;因此如果已有相应系统提供市话祥单数据查询支撑,从节约企业成本、减少数据冗余的角度,该类型数据暂时不采集到ODS系统中,而是直接将其在源系统的存储数据作为ODS的共享层数据来源之一,逻辑上纳入ODS系统。对于用户量不大的省份可由ODS直接存储并提供清单数据。 3.1.5 元数据层

元数据(Metadata)是关于数据的数据,是对数据的含义、功能、来源等进行描述,内容包括在ODS系统建设过程中所产生的有关数据源定义,目标定义,转换规则等相关的关键数据。元数据可以帮助ODS管理员和ODS的使用人员方便地找到他们所关心的数据。 3.2 功能架构

遵循CTG-MBOSS功能层次的划分标准,,将ODS系统功能划分为五大功能域:数据整合域、数据共享域、数据应用域、数据质量管理域、公共管理域,如图3-2所示:

版权所有,注意保密 15

E-O:总体规范

CTG-MBOSS 规范

图 3-2 ODS系统功能架构

数据整合域是ODS系统的关键部分,ODS整合域通过多种方式准实时或实时地从源系统抽取并整合数据,抽取数据首先到达ODS的接口数据层进行预处理、转换等工作进入整合数据层,形成ODS的核心数据,基于整合层的数据进行汇总、计算等工作后形成汇总层数据。

数据质量管理域的功能是为了解决目前普遍的数据质量顽疾,通过建立数据质量管理组织机构,制定质量管理规范,确定相应的工作流程方法,并在系统中实现质量检查、修正、考核功能,形成数据质量修正闭环的机制,确保数据质量问题由发散状态转为收敛状态,并随着时间的积累逐步逼近真实状态。

利用整合及汇总后的数据,ODS系统自身可直接提供查询、固定报表、动态报表及计算等应用。 实现客户统一视图信息的查询、营销活动的统计与监控、业务量收的统计、KPI指标监控与考核及客户评价批量计算等功能。

版权所有,注意保密 16

E-O:总体规范