6.3 模式演进
CTG-MBOSS 规范
在以上两种建设模式中,模式二是推荐的部署模式。模式一按需要逐步向模式二演进。模式一向模式二的演进策略和过程如下表格所示: 部署模式 集团ODS+省集中ODS 演进策略 以省集中ODS为核心,考虑本地网延伸 具体说明 根据各个本地网业务需求适当考虑向本地网延伸,提供本地网个性化运营数据统计和分析需求,同时完善省集中ODS系统数据模型和业务流程,加快集团ODS系统建设,提供全国运营数据查询和统计功能 7 附录
7.1 编制人员
黄智勇(集团)、王桂荣(集团)、刘智琼(广州研究院)、李傲冰(中兴软创)、倪然(天源迪科)、张云松(鸿程)、李国庆(亚信)、俞科峰(广州研究院)、陈剑光(IBM)、杨朝强(朗新)、张强(ORACLE)、单明祺(ORACLE)、尤祖喜(亚信)、余虎(普信)、邱水金(联创科技)
另外,项目组在编制过程中得到了集团相关部门领导的大力支持,特别感谢郭勇、张皛晶、刘敬龙、刘翼等集团领导与专家的指导、感谢陈亚华(上海电信)、陆岭(贵州电信)、杨勇勤(浙江电信)、吴鉴(江西电信)、林章(福建电信)等各位省公司专家的大力指导与帮助。
版权所有,注意保密
56
E-O:技术规范
7.2 ODS系统物理架构与硬件配置示例
CTG-MBOSS 规范
本附录以IBM的设备为例,对ODS系统的物理架构、硬件给出建议的配置及存储设备存储量的相应规划,供各省在ODS系统的建设过程中参考。 7.2.1 系统物理架构图
7.2.2 系统硬件配置估算方法
ODS数据库服务器性能估算方法
用户数据交易量=每日用户数据变动量*高峰时段占比/60分钟=XX笔/分钟 其中
每日三户数据变动数量=用户数量*(1+0.7+0.7)*平均每日每用户数据变动数量 (备注:用户数量与账户和客户数量的比例是1:0.7:0.7; 高峰段占比是指高峰时段交易量占全天总交易量的比例。)
版权所有,注意保密
57
E-O:技术规范
CTG-MBOSS 规范
定单数据交易量=每日定单数据变化量*高峰时段占比/60分钟=XX笔/分钟 查询交易量=并发用户数量/分钟=XX笔/分钟
根据经验测算,在实时性要求在秒级的要求下,1个业务处理约需要平均相当于3个TPC-C事务。
帐单加载量=用户数量*每用户每月平均产生的帐单数量/要求加载完成的时间(分钟)=XX笔/分钟,每月一次,可以不做为峰值计算
清单加载量=每日清单平均数/要求加载完成的时间(分钟)=XX笔/分钟 对于数据加载,平均处理3条记录所需的事务数为2,即每 3 条记录折算成为 2 笔TPC-C事务。
基于此,我们可以用下表来计算ODS服务器的性能指标
项目 用户户数据交易 定单数据交易 缴欠费交易 查询交易 清单加载 合计: ETL服务期性能计算方法:
ETL服务器主要承担数据的抽取和转换,其中转换所需的I/O和处理能力对比数据抽取都要大得多:
?
I/O方面:
交易量 考虑处理能力冗余25% TPC-C 消费清单的数据量(G)=平均每日CDR总量*0.5K,要求在2小时完成。
?
处理能力方面
消费清单抽取转换量=平均每日清单总量/要求处理完成的时间(分钟)
版权所有,注意保密
58
E-O:技术规范
=笔/分钟
CTG-MBOSS 规范
所以,ETL服务器的TPC-C可以初步估算为消费清单抽取转换量的2/3倍
其他服务器的性能要求
参考其他省电信公司ODS建设的实际经验,一般采用2CPU/8G内存的中高档PC SERVER或者低档UNIX 主机均可。
7.2.3 系统存储规划
系统存储的数据包括客户资料数据、客户服务数据、定单数据、CDR数据、帐单数据和汇总数据,其中以客户资料数据、CDR数据、帐单数据为主,其他的数量跟这三者相比不在一个数量级上,因此我们重点计算客户资料和CDR数据、帐单数据所需的存储空间,其他的数据所需存储容量计算在冗余系数中即可。
(备注:本规划主要以存储BSS域的数据为例) ? 客户资料数据
三户资料数据总容量 = 系统用户数*(1+0.7+0.7) * 每条客户资料的数据量 每条客户数据量需要实测,一般为5KB左右 ? 清单数据
CDR总容量=保留的月份*每月CDR总数*0.5K 每条CDR按0.5K计 ? 帐单数据
帐单数据容量=保留的月份*用户数量*每用户每月平均产生的帐单数量*每条数据的数据量(K)
每条数据的数据量需要实测,一般为0.3KB左右 ? 其他数据
服务数据、定单数据等我们按客户资料数据的20%冗余计算
版权所有,注意保密
59
E-O:技术规范
对于帐单清单数据所需存储
1. 建立数据库索引需占用空间,系数为1.2。
CTG-MBOSS 规范
2. 建立系统表空间、回滚段表空间、临时表空间等,系数为1.2。
3. 根据业务需求,帐单清单数据采用RAID 5,硬盘利用率(主要考虑到磁盘的最佳
使用性能、文件系统和一些额外的磁盘开销),按75%计算。 我们可以得出帐单清单需要的可用磁盘阵列存储容量 =(帐单数据总容量 + CDR总容量) * 1.2 * 1.2 * / 0.75
对于客户数据及其他类数据数据所需存储 1. 建立数据库索引需占用空间,系数为1.2。
2. 建立系统表空间、回滚段表空间、临时表空间等,系数为1.2。 3. 考虑报表数据20%的冗余。
4. 根据业务需求,客户数据及其他类数据采用RAID 0 +1,硬盘利用率(主要考虑
到磁盘的最佳使用性能、文件系统和一些额外的磁盘开销),按50%计算。 客户数据加上其他类数据需要的可用磁盘阵列存储容量 =(客户数据容量+其他数据容量) * 1.2 * 1.2 *1.2 / 0.5
因此,我们可以估算出ODS共需磁盘阵列存储容量=客户数据加上其他类数据需要的存储容量+帐单清单磁盘存储容量。
备份容量,即离线存储容量,一般为在线存储容量的2倍以上,因此,备份容量至少为2*ODS磁盘阵列存储容量。
版权所有,注意保密
60
E-O:技术规范