CTG-MBOSS EDA-ODS:技术规范V1.0

检查规则、记录检查规则的设定。

CTG-MBOSS 规范

2. 支持时间策略:某些规则执行耗时长,资源占用量大,可以考虑安排特殊事件予

以调度执行;

3. 支持频度策略:重要数据重要业务检查内容,可以安排频度较高的调用; 4. 支持控制顺序策略:某些规则之间具有调用的先后顺序,故需要预先设定。 3.3.2.2 规则执行日志

对规则执行结果必须通过日志、报告予以详尽记录。

规则执行日志是质量管理文档化的一部分,主要记录异常数据的状况,这些异常数据是质量分析的主要依据。

通过规则执行日志,可以把握数据质量宏观、微观、收敛性等各方面情况。比如宏观上,了解数据质量汇总后的状况;微观上,清楚每一个质量问题涉及的记录;质量收敛性方面,把握前后两次检查稽核中错误重复出现的记录数、新增错误数、已改正错误数,以及错误发展的趋势状况。

[功能要求]

1. 支持定义错误类型和错误代码:通过错误分类和错误代码,可以更好地描述和理

解错误;

2. 支持定义源表与目标表映射关系:定义源系统表与ODS系统目标表之间的映射关

系,便于跟踪错误;

3. 支持定义满足日志记录的错误表群:每个错误必须能记录到记录级,并且能详尽

记录稽核时间、批次等信息。如:执行批次表、错误汇总表、错误记录表、错误比对表等;

4. 支持记录每次规则执行的汇总信息,作为稽核报告的数据基础:规则执行结束

后,适时对执行结果进行汇总记录,并形成对应执行报告。规则的每次执行,都必须有详尽的记录,必须满足对执行结果的分析。

版权所有,注意保密

16

E-O:技术规范

3.3.2.3 异常通知机制

CTG-MBOSS 规范

异常通知机制是指对于数据在处理过程中,对于抽取、转换、加载、汇总等各个环节中产生的异常进行通知功能。

[功能要求]

1. 支持处理多种异常的触发方式,主要包括数据异常、操作异常等;

2. 支持多种异常通知方式:支持通过浏览器方式显示异常信息,支持通过邮件方式

发送异常信息,支持通过短信方式发送异常信息。

3.3.2.4 异常数据报告

异常数据报告是指对于数据在ETL处理过程中,对于抽取、整合、加载、汇总等各个环节中产生的异常数据提供分类统计功能。

[功能要求]

1. 支持按照产品、业务、时间等多个维度进行异常数据分类统计和分析; 2. 支持按照产品、业务、时间等多个维度进行异常数据分类展现功能。 3.3.2.5 质量管理流程

数据质量管理总体上来说,是遵循发现问题、分析问题、制定解决方案、解决问题的闭环循环过程。逐步地提高数据质量。 [功能要求]

1. 要求提供流程工具来支持质量管理流程的实现;

2. 支持质量管理流程模板的制定,能够按照质量问题分类、源系统等属性进行配

置;

3. 支持数据质量管理流程闭环,保证各种质量问题有对应的处理机制; 4. ODS系统发现数据质量问题后,需要向源系统提供异常数据清单; 5. 支持质量问题发现、分析、解决、确认的持续改进过程;

版权所有,注意保密

17

E-O:技术规范

6. 提供各个环节的监控和操作功能。 3.3.2.6 规则库管理

CTG-MBOSS 规范

规则库是一系列规则的集合,每一个规则的制定都是为了完成一个特定的数据稽核/检查任务,通过执行规则可以找出数据质量存在的问题。规则根据需要而制定,既可以是技术规则,也可以是业务规则;既可以针对数据总量(总量级规则),也可以针对具体记录(记录级规则)。

[功能要求]

1. 支持在统一的模块中,能够实现多种业务规则、技术规则的配置; 2. 支持规则的版本管理。 3.3.2.7 数据修正考核

数据问题是指数据记录个体的问题,是由于历史原因、操作失误、或信息不全等导致的,如:

? 不正确数据:数据无效或错误,违反数据约束规则、业务规则等;

? 不完整数据:某些信息缺失或未填充,虽然不影响源系统正常运转,但这些信

息的缺失会影响ODS的数据整合;

? 不一致数据:源系统彼此间信息存在冲突和差异,或者同一源系统内部的冗余

信息之间存在冲突。

数据问题需在源系统中对问题数据进行补录、修改,数据问题修正后就能得到改进,避免重复发生,可提升源系统的数据质量。ODS能够对源系统数据修正情况进行考核。

[功能要求]

1. 支持对不同源系统数据问题修正率的分析与展示。

版权所有,注意保密

18

E-O:技术规范

3.4 数据共享域

CTG-MBOSS 规范

数据共享域的功能是基于数据整合域所形成的统一数据视图,通过集中的数据/服务提供功能,为各业务应用系统提供非自有数据的共享,优化目前各业务应用系统间网状的数据流转方式,简化数据共享逻辑,降低数据不一致的风险。数据共享域的功能包括共享配置管理、数据/服务提供和共享权限控制。 3.4.1 共享配置管理

共享配置管理对共享数据的内容和共享接口规则进行配置。 [功能要求]

1. 支持对使用共享数据的系统范围进行配置,定制对其他系统提供的接口数据的数

据结构和语义描述;

2. 支持对共享数据访问频率和访问允许时间段进行配置管理;

3. 支持对数据直接提供、数据服务提供、界面集成等各种共享数据的发布方式的配

置管理。

3.4.2 数据/服务提供

ODS系统能够通过数据文件、数据库物理共享、接口表、视图、数据高级复制等技术手段向外部系统直接提供数据。

[功能要求]

1. 支持通过服务调用实现跨平台应用程序之间的应用到应用(A2A)集成。包括应用

程序接口(APIs)、Java远端方法调用(RMI)、面向消息的中间件以及Web服务等多种技术手段;

2. 要求提供数据服务定义、数据服务目录、服务参数定义的功能;

3. 支持业务应用系统直接集成ODS系统的界面,以建立一些跨系统的综合应用。在

界面构件的合理规划和设计下,通过界面集成可以提高开发部署效率、提高构件的重用性、有利于系统的健壮性和稳定性。

版权所有,注意保密

19

E-O:技术规范

3.4.3 共享权限控制

CTG-MBOSS 规范

作为企业运营数据的共享中心,ODS的数据具有一致性和完整性的特点,但是,不同的业务应用系统所需访问的数据内容不同,这就要求根据共享数据的CRUD矩阵,控制各个业务应用系统对共享数据的访问权限。

[功能要求]

1. 支持共享域中提供的数据和数据服务的授权访问机制,支持对用户/角色权限的

定制和对数据/数据服务的使用权限的限制; 2. 支持访问的日志记录机制。 3.5 数据应用域

数据应用域通过基于ODS中整合好的运营数据,提供查询、固定报表、动态报表和批量计算等应用。 3.5.1 数据查询

数据查询是一种条件不固定、不可预见、格式灵活的动态查询功能,是按需查询,与预定义的常用查询相对。用户可以选择任意维度(一或多个)进行查询,它的使用人员无需了解数据库和SQL,只需通过系统提供的各种向导式界面和联机帮助,按照业务逻辑规则即可快速、简洁的定义查询需求,系统自动完成连接操作、条件定义等SQL定义操作。

[功能要求]

1. 支持客户统一视图查询功能; 2. 等。

3.5.2 固定报表

固定报表是基于指标型的报表,对于实时性要求高的报表采用即时生成的模式,而对于实时性要求不高的报表,基于性能影响和资源开销两方面的考虑,应采用后台通过作业

版权所有,注意保密

20

E-O:技术规范

联系客服:779662525#qq.com(#替换为@) 苏ICP备20003344号-4