中国电信经营分析系统

经营分析系统技术交流中国电信经营分析系统•第一部分：公司介绍•第二部分：需求说明•第三部分：解决方案•第四部分：问题交流目录Part1公司介绍•第一部分：公司介绍•第二部分：需求说明•第三部分：解决方案•第四部分：问题交流Part2需求说明背景•企业经营发展的结果–以业务为中心•话单量小、业务少、用户少–以客户为中心•大数据量、业务多、异构数据、决策分析•技术发展的结果–数据库与数据仓库–人工智能–数据挖掘–联机分析企业信息化的四个进程数据信息知识施效在线分析数据挖掘客户关系管理数据仓库=营销自动化=销售队伍自动化=客户服务与技术支持=事实发生了什么?=为什么会发生？=对象是谁？=还会发生什么?经营分析系统信息流图建设目标建立一个统一的数据信息平台采用先进的数据仓库技术和分析挖掘工具，提取数据中的有价值信息为企业的客户服务、市场营销等工作提供科学有效的支撑，提升企业的运营水平和竞争能力，体现以客户为中心的经营理念建设原则两级系统，三层结构整合业务数据、面向经营分析能通过多种手段实现业务智能主题可扩充、新增及重构成为业务决策者专业的咨询顾问经营分析系统的开发与建设将分阶段进行系统功能•支持与各种主流数据库平台、多维分析引擎、数据挖掘引擎和前端展示工具的无缝集成•开放的应用程序接口和工具•提供统一的数据仓库平台，支持后续应用和扩展•可定制化的客户界面•统一的用户和权限管理机制主题分析及专题分析前端用户/浏览器应用服务器/WebServer业务主题分析服务质量模块用户分析模块业务分析模块收益分析模块市场营销分析模块市场竞争分析模块新业务分析模块合作服务方分析模块大客户分析模块专题分析业务(含新业务)专题市场、竞争专题大客户发展、异动专题客户专题分析数据仓库客户管理市场管理产品管理智能分析产品推广获取更多客户销售管理业务管理模型Part3解决方案◆技术体系结构◆主要厂商产品介绍体系结构BOSSMIS/OA网管其它数据源数据源BOSS系统网管客服其它1数据源BOSSMIS/OA网管其它数据源数据源数据源数据源省BOSS系统的数据：•批价后的详单•帐务数据•欠费记录•缴费记录•欺诈记录•客户信息•资源记录•营业记录•投诉记录•查询记录•结算数据•人工录入的信息网管系统的数据热点小区接通率故障信息客服数据投诉信息服务状况其他数据人工输入数据源细分计费子系统：通话详单（原始、计费后）、详单格式计费使用费率表错误话单结算话单帐务子系统：帐务数据欠费记录缴费记录、缴费方式欺诈记录营业子系统：用户资料及信用度资源使用记录营业厅、营业员资料客服子系统：投诉记录用户查询记录网管系统：接通率数据掉话率数据手工录入数据：市场调查结果记录市场宣传费用和形式记录流水型增长数据：通话详单（原始、计费后）错误话单帐务数据欠费记录缴费记录欺诈记录资源使用记录投诉记录用户查询记录财务数据物流数据市场调查结果记录市场宣传费用和形式记录变化更新数据：计费使用费率表缴费方式用户资料及信用度营业厅、营业员资料BOSSMIS/OA网管其它数据源数据源数据获取层2数据获取层•数据来源–首先直接快速传输到分段存储区，再从分段存储区经过清洗、转换、映射等复杂的数据移动处理转移到目标数据仓库中。•以保证数据的快速导入而尽量减小对业务系统造成的压力。•有数据库和文件二种方式，分别对应于不同运营系统的数据源。•数据集成–异构数据源整合临时存储区(StagingArea)BOSS与经营分析系统的连接方案计费营帐经营分析系统DW客服采集BOSS系统ODS文件加载，例如采用sql*load数据集成，例如采用OWB,Pl/Sql,CAAdvantageDataTransformer数据清洗、转换，如采用OWB,Pl/SqlSql*Load实现方式1、掌握源文件的文件格式2、定义目的ODS的对应表结构3、编写执行的脚本4、运行脚本5、查看运行的日志例子：将pt0431文件的记录装载进入表cc_test中实现：1、依据文件pt0431格式和表cc_test的结构，编写脚本jl.ldr：LOADDATAINFILE'../pt0431'INTOTABLEcc_test(文件格式与表结构对应关系定义)2、编写控制脚本jl.sql：sqlloaduserid=ht/hellocontrol=jl.ldrlog=jl.log3、执行：#shjl4、查看日志文件jl.logPl/Sql实现方式有些数据需要经过程序处理后才能很好的被使用。例如：基于批价详单来分析话务流向时需要利用详单记录中的Other_party字段。Other_party可能的存在形式：1795X+固定电话号码；013XH1H2H3H4N1-N4;13XH1H2H3H4N1-N4;00+电话号码；特殊号码：110、119、1861等；172X1X2;只有经过一定的处理，才能分析去话的方向是联通、电信，国际，特殊呼叫等适用于随机获取数据ETL环境和处理流程来源OLTP系统数据转化引擎缓存来源主机或C/S系统转化引擎数据仓库企业元数据数据集市数据集市数据集市数据集市•扫描元数据•要求资源•规划交付用户流程数据仓库•监控•任务调度•数据抽取•数据清洗•数据转换•数据加载•索引建立•数据聚合•元数据导入•元数据维护BOSSOANMSELSE抽取策略1、对于有时间线的数据增量抽取，例如：服务信息表，由于有处理时间，可增量抽取2、没时间线的数据则完全抽取，例如客户信息表3、明细帐单、综合帐单在出帐后，例如出帐后第二天抽取4、对于文件，象BOSS系统的结算清单、计费清单按文件生成周期实时抽取3数据存储层BOSSMIS/OA网管其它数据源数据源数据存储层基础数据仓库•数据来源•数据结构–3NF–星型结构–雪花结构•完整性和有效性检查，对冗余和不一致的数据进行了清洗和转换。•数据量将非常庞大。3NF减少数据冗余减少存储容量灵活的扩展能力执行效率相对较低数据集市•数据仓库的子集，主要面向某特定主题。•数据来源–对基础数据仓库中数据的复制、分布或聚合•数据结构–星型结构Star-Schema存在数据冗余相对较大容量维变化时，需重新建立执行效率高粒度选择多重粒度级别中央数据仓库采用低粒度级，例如，客户月通话详单—-高细节数据，能回答所有问题，但分析效率较低；数据集市采用高粒度级，例如，客户月通话综合信息---低细节数据，能回答部分问题，但分析效率高；如果高粒度数据也包含分析所需的足够的细节，则高粒度数据的使用效率会提高很多中央数据仓库与从属数据集市中央数据仓库客户信息•Cust_ID•Msisdn•Age_level•Cust_Type•City_Code……通话详单•Call_Type•Msisdn•Start_Date•Start_time•Call_duration…..帐户信息•Account_ID•Cust_ID•Lfee•Cfee•Discount_fee……其它信息•Cust_ID•Msisdn•Age_level•Cust_Type•City_Code……Cust_IDMsisdn客户通话行为分析客户消费行为分析其它分析……依据分析的需要Map数据数据仓库完整构架DataMartsDataMiningOLAPAnalysisMartMartStagingAreaDataWarehouseOperationalDataExternalDataArchiveDataManualDataBusinessUsers4数据访问层•信息处理–查询和报表•分析处理–基本的OLAP操作•数据挖掘–知识发现BOSSMIS/OA网管其它数据源数据源数据访问层举例：话务流向分析维：通话日期、通话时间、对端号码，共3个维；分析指标：通话次数，通话时长实施：建立一个3维的数据立方体，对指标采用切片、钻取、旋转等方法进行分析多维数分析时间日期对端号码同一时刻话务流向分析12:00OLAP分析方法一【切片】12:00日期对端号码OLAP分析方法一【切片】时间日期5月1日对端号码同一日期话务流向分析5月1日对端号码时间OLAP分析方法一【切片】流向同一运营商的话务量分析时间日期联通对端号码联通日期时间时间日期年季度季度月月月月对端号码OLAP分析方法二【钻取】在同一个维上，按不同的层次来分析OLAP分析方法三【旋转】将年份和季度交换坐标基于WEB的展现方式对数据进行可视化的分析，分析结果的展现方式有以下几种，并且各种形式之间可以相互的转换：1．柱状图；2．相对柱状图；3．累计柱状图；4．饼图；5．散点图；6．折线图；7．趋势图；8．网页表格；9．表格中的数据倒出到Excel报表WEB展现示例【柱图】WEB展现示例【3D柱图】5元数据•关于数据的数据–技术元数据–操作元数据–业务元数据•贯穿全过程BOSSMIS/OA网管其它数据源数据源元数据管理元数据管理业务定义属性定义DA/DBAToolErwin抽取规则,转换规则ETLTool报表格式,过滤,分割等DSSTool数据库元数据元数据库双向自动无连接业务定义OtherExcelHTMLIBMCompatibleBusinessUsersIBMCompatible数据仓库开发IBMCompatible元数据管理Intranet/Extranet-Definitions-Domains-Names6系统管理安全备份安全体系结构系统安全•安全的层次–每个层次均需要相应措施保证–数据库、应用、网络•网络层–防火墙–电子认证–加密安全层次•数据库层–密码–数据库权限控制•应用层安全–用户身份认证•按照操作对象和操作类别规定各操作员的权限•保证身份的有效性和不可抵赖性•采用口令＋密码方式，可以向数字证书升级–数据加密–服务和数据权限容灾与备份：概述•什么灾？–火灾、地震、洪水…–系统故障：硬件、操作系统、数据库...–应用故障：设计时考虑不周–误操作–黑客入侵、故意破坏•容灾方法–以备份系统代替主系统，并及时恢复主系统–数据复制–其它：地理分布，电源、网络等的高可用性容灾与备份：数据备份策略•数据备份的层次–物理视图–逻辑视图（DB、数据库模式、应用）•数据备份的方式–联机复制•同步、异步、状态–脱机备份•防止“误操作型”灾难•数据备份的目标–一致性、当前性、可恢复性，尽量减少数据丢失及尽快恢复容灾与备份：数据复制层次主机硬盘DB文件表应用内存备份机硬盘DB文件表应用内存输入输入物理视图DB视图数据库模式视图应用视图复制或转移Part3解决方案◆技术体系结构◆主要厂商产品介绍产品供应商IBMCorp.OracleCorp.SASInstituteMicrosoftCorp.MicroStrategyInc.CABrioTechnologyBusinessObjectsInc.Cognos产品供应商•Datawarehouses•OLAP•Datamining•Reporting,Queryingandbusinessintelligence•ETL–Oracle–Sybase–SAS–DB2–NCR–BI/SAS–DB2OlapServer–OracleExpress–BusinessObjects/OLAPaccess–SASDatamining–Geneva(PwC)–IntelligentMiner,Visualization(IBM)–MineSet(SiliconGraphics)–VisualInsights(Lucent)–BusinessObjects–Brio–AdaptiveServerIQmultiplex(Sybase)–Actuate–Hummingbirdsuite–NUMA-Q2000(IBM)–PilotBalancedScorecard–OWB–Informatica–CADataTransformer–SAS/WABestWorstRelative