中国联通数据模型培训材料

中国联通经营分析系统数据模型培训亚信科技2009年9月2提纲体系架构数据模型介绍数据处理流程介绍关键指标统计口径主要维表编码说明3提纲体系架构整体介绍分层说明ETL说明4体系架构报表展现主题分析专题分析crm-fileCRM前端应用数据仓库ETL：TRANSFORM1④ETL：EXP①。。。prm-filecdr-filebill-filePRMBillingSettlementset-file源系统crm-fileprm-filecdr-filebill-fileset-fileETL：FTP②STAGEETL：LOAD③DWDDWDMETL：TRANSFORM2⑤ETL：GROUP⑥DSS应用即席查询数据架构细分STG明细数据层(DWD)轻度汇总层(DWA)衍生数据产品视图渠道视图资源视图……DW汇总数据业务使用帐务结算客服营销资源客户视图合作伙伴视图CRM1BillingPRMSETT炫铃平台中央音乐平台WAP网关。。。客户域产品域帐务域市场营销域业务使用域合作伙伴域客服域地域域客服资源域DM中度汇总发展类收入类使用类服务类结算类财务类本地KPI指标指标库指标数据本地报表数据集团报表数据报表数据专题数据集市地市数据集市数据集市集团KPI指标CUBE数据OLAP数据部门数据集市和生产系统一致明细级数据，EDM落地，关键统计口径下移不跨域的到USER_ID的轻度汇总，提高性能形成统一客户、统一产品、统一渠道的360度视图，支持深层分析直接支持不同应用不跨域的、不保留USER_ID的汇总，常用维度、指标支持6数据源情况说明数据源数据库Oracle系统√CRM（CRM1、CRM2）√帐务√计费√结算√PRM√结算7STG层说明STAGE层作用√提供业务系统数据文件的临时存储√数据稽核、数据质量保证√屏蔽对业务系统的干扰√屏蔽数据源的差异主题√按照业务系统的数据模型组织数据模型√与业务系统一致数据存储粒度√存储详单、客户、帐务资料等细节数据的原始粒度数据存储周期√临时性模型增加原则√与生产系统表结构一致√表名以STG_XXX，XXX重新进行命名√数据类型转化（VARCHAR、DATE）注意√增量/全量方式8DWD层说明DWD层作用√提供BSS系统细节数据的长期沉淀√为未来分析类需求的扩展提供历史数据支撑√支撑轻度综合层数据生成主题√按EDM模型组织数据模型√3NF,与企业级数据模型一致数据存储粒度√存储详单、客户在、帐务资料等细节数据的原始粒度数据存储周期√长期保留，大于12个月√详单类数据单独考虑模型增加原则√统一数据字典（表名、字段名、数据类型、域等）√表名以DWD_XXX，XXX重新进行命名，代表明确的业务意义（特殊的DIM、CFG、MON等）注意√编码转换、单位统一、相同含义的字段名称统一9DW层说明DW层作用√扩展BSS核心业务实体（个人客户、集团客户、订购实例、产品、渠道等）的衍生信息（行为、扩展属性）√数据预处理，提高性能√支撑专题分析和数据挖掘√同CRM、Billing互动，形成闭环主题√按主题（实体）组织数据模型√反范式设计（宽表、冗余、派生、标志位前移）数据存储粒度√对客户、订购实例、渠道、产品等数据的轻度加工数据存储周期√长期保留模型增加原则√核心业务实体的把握√表名以DW_实体名_XXX，XXX重新进行命名注意√10DM层说明DM层作用√面向分析类应用（报表、OLAP、KPI、专题等）所构建的数据存储√为主题分析提供数据√为报表和指标体系提供数据支撑√支持专题分析（注：根据专题所需数据粒度的不同，可以分别来自DW层和轻度综合层。）主题√按分析类应用主题组织数据模型√多维模型（维度、粒度选择）数据存储粒度√中度、高度汇总数据数据存储周期√视应用需求而定模型增加原则√需求归并、性能考虑、分表策略选择√表名以DM_实体名_XXX，XXX重新进行命名。REP_XXX注意√需求梳理、归并和控制，性能考虑和分表策略选择11ETL说明说明①ETL：EXP由相应的业务源系统将数据卸载成相应的文本文件，存放相应的临时文件存储区。文件格式和约定遵从双方约定的规则。对于BILLING系统的二批话单，入库时将文件放在一个目录下，有经营分析系统去取，然后加载至STAGE层，并调用后续的数据处理过程。②ETL：FTP有经营分析系统到业务系统制定的文件存储目录，将相应的文件FTP至经营分析系统。判定文件完成情况，有双方约定来确定。可以设定是否进行文件合法性校验③ETL：LOAD将ETL转变为ELT，完成生产系统的数据加载至经营分析系统STAGE层，为后续的数据处理做准备。④ETL：TRANSFORM1完成编码统一转换。完成数据模型转换。适度的数据冗余（打上一些标签等）⑤ETL：TRANSFORM2核心业务实体的行为属性扩展处理。⑥ETL：GROUP将数据转化为按照星型模型组织的数据。12提纲体系架构数据模型介绍数据处理流程介绍关键指标统计口径主要维表编码说明13提纲数据模型介绍域划分DWD层DW层DM层数据模型域划分（DWD/DW）15提纲数据模型介绍域划分DWD层DW层DM层DWD客户域客户信息客户关系客户评价客户服务竞争对手客户信息客户关系客户评价客户服务竞争对手DWD产品域业务产品订购实例活动和活动订购业务产品订购实例活动和活动订购DWD帐务域缴费帐务优惠储值方式缴费帐务优惠储值方式DWD服务使用域DWD客服域客户交互订单客户问题俱乐部管理维系管理挽留管理营业收费客户交互订单客户问题俱乐部管理维系管理挽留管理营业收费DWD结算域DWD资源域业务资源网络资源业务资源网络资源DWD市场营销域渠道合作伙伴营销计划营销活动销售机会渠道合作伙伴营销计划营销活动销售机会51提纲数据模型介绍域划分DWD层DW层DM层DW客户域客户信息客户评价竞争对手客户信息客户评价竞争对手DW产品域业务产品评估统计订购实例订购实例使用行为业务产品评估统计订购实例订购实例使用行为DW帐务域DW服务使用域DW客服域客户交互俱乐部管理维系管理挽留管理营业收费统计客户交互俱乐部管理维系管理挽留管理营业收费统计DW结算域DW资源域业务资源网络资源业务资源网络资源DW市场营销域渠道营销计划营销活动渠道营销计划营销活动76提纲数据模型介绍域划分DWD层DW层DM层DM主题域业务发展业务使用业务收入市场竞争服务水平资源业务发展业务使用业务收入市场竞争服务水平资源84提纲体系架构数据模型介绍数据处理流程介绍关键指标统计口径主要维表编码说明85提纲数据处理流程介绍日流程月流程日-订购实例日-产品活动日-订单日-帐务日-计费日-集团日-渠道日-CRM参数日-维挽日-俱乐部日-终端日-卡日-物品日-网管100提纲数据处理流程介绍日流程月流程月-订购实例月-集团月-帐务月-计费月-佣金月-结算月-积分月-维挽109提纲体系架构数据模型介绍数据处理流程介绍关键指标统计口径主要维表编码说明110提纲关键指标统计口径用户数业务量收入用户数-日发展用户数(户)156日发展用户数(户)186发展用户数(户)网上用户数(户)156网上用户数(户)186网上用户数(户)活跃用户数(户)离网用户数(户)净增网上用户数(户)通话用户数(户)累计活跃用户数(户)GSM累计活跃用户数(户)累计通话用户数(户)GSM累计通话用户数(户)停机30到60天用户数(户)停机60到90天用户数(户)开机数(户)炫铃新增用户数(户)炫铃网上用户数(户)集团直销渠道发展用户数(户)集团社会直销（积分）渠道发展用户数(户)集团自有渠道新增移动用户(户)集团社会直销（计件）渠道发展用户数(户)业务量-日通话次数(万次)本地通话次数(次)本地区内通话次数(次)本地长途通话次数(次)漫游通话次数(次)省内漫游通话次数(次)省际漫游通话次数(次)港澳台漫游通话次数(次)国际漫游通话次数(次)虚拟网通话次数(次)通话时长(万分钟)本地通话时长(分钟)本地区内通话时长(分钟)本地长途通话时长(分钟)漫游通话时长(分钟)省内漫游通话时长(分钟)省际漫游通话时长(分钟)港澳台漫游通话时长(分钟)国际漫游通话时长(分钟)虚拟网通话时长(分钟)计费时长(万分钟)被叫通话计费时长(分钟)主叫通话计费时长(分钟)本地通话计费时长(分钟)本地区内通话计费时长(分钟)本地长途通话计费时长(分钟)漫游通话计费时长(分钟)省内漫游通话计费时长(分钟)省际漫游通话计费时长(分钟)港澳台漫游通话计费时长(分钟)国际漫游通话计费时长(分钟)虚拟网通话计费时长(分钟)短信次数总计(万次)联通在信次数(万次)短信点对点次数(万次)短信网内点对点次数(万次)短信网间互通次数(万次)短信电信互通次数(万次)短信移动互通次数(万次)短信国际互通次数(万次)短信其它次数(万次)收入-日短信优惠前收入总计(万元)联通在信优惠前收入(元)短信点对点优惠前收入(元)短信网内点对点优惠前收入(元)短信网间互通优惠前收入(元)短信移动互通优惠前收入(元)短信电信互通优惠前收入(元)短信国际互通优惠前收入(元)短信其它优惠前收入(元)短信优惠后收入总计(万元)联通在信优惠后收入(元)短信点对点优惠后收入(元)短信网内点对点优惠后收入(元)短信网间互通优惠后收入(元)短信移动互通优惠后收入(元)短信电信互通优惠后收入(元)短信国际互通优惠后收入(元)短信其它优惠后收入(元)炫铃优惠前收入(万元)炫铃优惠后收入(万元)GPRS业务优惠前总收入(元)GPRS业务优惠后总收入(元)GPRS业务优惠前总收入(不含彩信,元)GPRS业务优惠后总收入(不含彩信,元)GPRS业务彩信优惠后收入(元)GPRS业务彩信优惠前收入(元)3G增值业务费收入（元）总收入(万元)月租费(万元)基本月租费(元)VPN月租费(元)特服月租费(元)SCP月租费（元）通话费(万元）漫游通话费(元)港澳台漫游通话费(元)省内漫游通话费(元)省际漫游通话费(元)国际漫游通话费(元)本地通话费(元)本地长途通话费(元)本地长途基本费(元)本地长途长途费(元)本地区内通话费(元)本地区内主叫通话费(元)本地区内被叫通话费(元)虚拟网通话费(元)短信费(万元)增值业务费收入(万元)增值业务流量费收入(元)综合优惠费(元)语音优惠费（元）本地通话优惠费（元）本地长途通话优惠费（元）本地非长途通话优惠费（元）漫游通话优惠费（元）省内漫游通话优惠费（元）省际漫游通话优惠费（元）国际漫游通话优惠费（元）港澳台漫游通话优惠费（元）增值优惠费（元）短信优惠费（元）彩信优惠费（元）GPRS（不包括彩信）优惠费（元）用户数-月本期发展用户数(户)本期净增用户数(户)本期出帐用户数(户)本期新增出帐用户数(户)本期新增离网用户数(户)本期网上用户数(户)本期活跃用户数(户)本期通话用户数(户)本期新增被动停机等于三个月用户数(户)流失用户数(户)业务量-月本期总通话次数(次)本期总通话时长(分钟)本期总计费时长(分钟)本期发展用户计费时长(分钟)本期发展用户通话次数(次)本期发展用户通话时长(分钟)MOU(分钟/人)本期平均每分钟资费(元/分钟)收入-月本期出帐应收(元)本期通话费收入(元)本期短信收入(元)本期月租收入(元)本期增值（GPRS含彩信）业务收入(元)本期其它收入(元)实收上期金额(元)本期末累计欠费(元)本期出帐应收优惠前收入(元)本期离网用户欠费(元)本期新增用户出帐收入(元)ARPU(元/人)非现金流销账金额(元)117提纲体系架构数据模型介绍数据处理流程介绍关键指标统计口径主要维表编码说明CRM1CRM2帐务计费