TDH典型应用案例手册

TranswarpDataHub2014TRANSWARP星环科技LBS地理位置服务StreamingCluster流集群Web日志分析Inceptor集群消息队列8个数据源,4TB/天信令数据分析Mc信号Gn信号LTE信号计费数据分析CDR计费信道CRM运营数据分析网络覆盖GIS地图客户行为用户Web日志FTPOverHDFSFlume运营分析Inceptor集群信道统计M/R集群基于Inceptor的自服务分析SSD客户标记服务器HyperbaseInceptorSQL前端编译器统一资源管理层-YARN统一数据管理系统-HDFSJAVAAPI外部服务PL/SQLJDBC/ODBCRESTAPIFileAPI访问控制管理CLI客户背景：智能手机的普及以及运营商的业务增长带来了海量的结构化和非结构化的各类运营数据，电信行业数据量因此极速增长。海量数据带来的并不仅是存储、传输的问题，更重要的是如何从海量数据中进行相关业务分析，以更好服务客户、提高效率。这已成为运营商亟待解决的问题。3G/4G等高带宽无线网络的普及极大促进移动设备的数据业务，自助业务检索或帐户相关信息查询等服务日益受到消费者青睐。传统语音之外的上网、短信以及在线查询话费账单/电话详单等数据业务迅速增长。在这样的大背景下，现有电信的数据处理系统明显无法满足业务要求，系统响应速度越来越慢。这就急需新一代的详单账单查询系统。此外，各类结构化以及非结构化数据的汇聚，导致运营商亟需统一的大数据平台进行运营管理。而多个部门以及不同业务在大数据平台中的使用，需要完备的访问权限控制以及平台多租户的支持。现有混合架构系统维护成本高，侵蚀了业务单位的盈利能力。传统的HadoopMap/Reduce架构或者MPP架构速度慢，降低了服务质量。传统的MPP或关系型数据库不能处理非结构化数据以及对结构化数据进行数据挖掘。当前个性化的客户支持模式不可扩展，无法应对爆炸性的需求增长，可能会导致不满的顾客流向竞争对手。传统的RDBMS解决方案无法满足存储规模和实时查询要求，进而无法为用户提供优质服务。问题与需求：运营商的TDH应用TranswarpDataHub(TDH)典型应用案例2014TRANSWARP星环科技个人用户能够查询3G/4G上网记录详单，准确实时查询六个月内的上网记录详单。x86解决方案只以当前RISC平台价格的一小部分就实现了其功能，但在规模上却以经济的方式扩展到支持数亿个用户的高并发查询。账单明细检索查询速度是30万份账单/秒，插入速度是80万份账单/秒。该系统目前每月无缝处理30TB的用户计费数据，每个表支持数十亿份账单。查询性能提高了30倍，从而大大提高了新系统的处理性能。使用Inceptor高速内存分析引擎以及完善的SQL／R语言支持，某省移动的139协同运营中心的业务和数据顺利迁移到了TDH上，建立了以Hadoop为核心的数据仓库，用以整合财务数据、网分数据以及客户标签数据，满足了交互式分析和批处理业务需求,包括流量分析,客户指标分析,区域价值分析等,同时比传统关系型数据库提供了数量级般的性能提升；未来利用R语言强大的机器学习算法，可对现有数据进行更深入的挖掘分析。TDH的完整SQL支持使得业务改造成本降低，使得业务平台迁移成为可能。某直辖市移动的移动流量经营业务已完整迁移到TDH平台上，使用Inceptor分析引擎在每天TB级别的增量数据以及数十TB的全量数据上进行经营分析，处理性能比原平台的4台小型机和DB2数据库快5倍左右，硬件成本不到一半，已长期稳定地7*24小时运行。完备的多租户支持,使用TDH提供了完整的用户访问权限控制,在数据库、表、视图、列以及行级提供基于角色的权限控制。并且对于某省移动各个部门及应用开发单位的不同应用需求,通过统一的集群管理,结合TranswarpYARN资源调度框架,动态创建和销毁集群,灵活部署业务,实现数据、资源、计算能力的统一调度和规划。TDH方案的实施效果：2014TRANSWARP星环科技集中管理交通数据。集中访问分散存储在不同的支队数据中心的图像或视频等交通数据，和道路交通管理设施、装备和应用系统等。优化海量数据利用。提供尽可能长时间段的车辆监控数据，为市公安治安、刑侦、经侦部门人员及一线民警等提供信息支撑服务。改善交通。提高对各种交通突发事件的应急调度能力，依据历史数据预测交通或突发事件的趋势。提升交通案件侦破能力。增强交通警察对机动车辆的监管能力。交通行业的TDH应用客户背景：随着经济迅猛发展，地方交通越来越繁忙，机动车辆不断增加，地方政府需要好的方法对过往车辆进行监控管理，从而提供更好的交通服务。地方交通部门采用了数据驱动的方法，在市内重要检查点安装了上千台数字监控设备，这些设备7×24小时不间断捕获图像和视频数据，每月数据量达TB级。现在，交通部门面临着如何通过有效利用这些不断增加的交通信息数据改进交通管理的挑战。问题与需求：传统应用结果写入套牌分析集中布控区间测速……分布式消息队列（通过kafka解耦后端应用）Hyperbase实时数据库InceptorSQLInceptorStreaming即席查询图片查询交通管理刑侦分析统计分析数据挖掘SQL实现基础过车结构化数据的永久存储，以及最近24个月的交通违法图像数据，实时对数据检索，并可随时无缝扩容。单服务器允许平均每秒250次500KB尺寸图片同步传输，或2000次异步并发存储。不到1秒即可得到从24亿条过车数据中的机动车号牌查询出的精确结果和行车轨迹。提升了交通案件侦破能力。机动车违法图像信息在系统保存周期从3个月延长到24个月，交通警察等部门可根据车辆的颜色、车型、号牌等信息实时查询其历史行为、行车路线和车辆营运公司、驾驶人等关联信息。增强了交通警察对机动车辆的监管能力。交警可以从24亿条过车数据中轻松检索被监测机动车的号牌精确查询和行车轨迹。便捷利用关联车辆的分析数据。针对24亿条实际过车数据进行两卡点、多卡点的伴随车辆和碰撞车辆的复杂分析，查询耗时仅为10秒左右。TDH方案的实施效果：TranswarpDataHub(TDH)典型应用案例2014TRANSWARP星环科技时空相关的模式挖掘和预测持卡人商户数据收集数据分析精准推荐刷卡行为收集和分析发卡行收单行需要可扩展的开放架构做支撑。大数据量必然要求金融企业IT基础设施更易于数据的整合与集中、扩展与伸缩，以及管理与维护，同时还必须具备良好的可靠性、可控性、安全性。大数据在加强风险管控、精细化管理、业务创新等业务转型中将起到重要作用。首先，大数据能够加强风险可审性和管理力度，支持业务精细化管理。利率市场化必然会对银行业提出精细化管理的新要求。需要大数据支持服务创新，能够更好实现“以客户为中心”的理念，通过对客户消费行为模式进行分析（比如事件关联性分析），提高客户转化率，开发出不同的产品以满足不同客户的市场需求，实现差异化竞争。小额信贷是另一个大数据应用领域，需要通过大数据技术自动分析判定是否给予企业贷款等业务应用。问题与需求：金融行业的TDH应用行业背景：现代金融业几乎完全建立在信息技术之上。随着金融业蓬勃发展，银行、保险、证券等金融机构将更多依靠构建智能型数据分析体系充分挖掘业务规律，以更好支持业务与服务创新。某银行历史交易查询系统:某银行将所有的交易数据通过ETL工具从关系数据库实时增量导入Hyperbase,设计容量能够存放15年。TDH的最新ODBC驱动程序支持增删查改（CRUD）并对接现有ETL工具，使实时增量同步成为可能。历史交易数据查询采用SQL进行查询，可在1秒内完成，可支持每秒1万的并发SQL查询。同时对所有交易数据通过SQL进行批量处理,对近期三个月交易数据进行行列转换载入内存进行交互式分析，可以10秒内完成大部分统计分析。某金融结构报表分析系统：某金融结构有银行和保险等金融业务。银行业务提供多种类型的贷款，为了避免坏账，银行根据金融原理和行业经验设计了许多复杂的SQL，用来对它收集的大量数据进行分析，计算出坏账风险。银行原有的传统关系型数据库和MPP数据库在数据海量和SQL复杂的场景下性能不足，而开源版本的Hadoop无法支持现有复杂业务场景，TDH大数据平台完美地解决了上述问题。Inceptor前端解析层高度支持银行使用的SQL，100%完成了银行贷款风险分析系统用到的大量超宽表统计，并以快于某MPP数据库若干倍的速度返回了结果。内存表Holodesk满足银行所需的大量adhoc（即席）查询，通过对接现有报表系统，可以在一秒内聚合分析几亿条数据，满足了银行业务部门交互式分析需求。某金融机构信用卡中心的大数据平台：某金融机构的信用卡中心拥有大量银行卡实时交易数据，该中心需要打TDH方案的实施效果：造开放的大数据平台使得各业务部门可以挖掘这些数据中的价值。Inceptor中的分布式大数据挖掘工具全面支持R语言而且提供二十多种并行化机器学习算法。TranswarpR帮助该信用卡中心的大数据平台高效地实现了以下功能：2014TRANSWARP星环科技某银行历史交易查询系统:某银行将所有的交易数据通过ETL工具从关系数据库实时增量导入Hyperbase,设计容量能够存放15年。TDH的最新ODBC驱动程序支持增删查改（CRUD）并对接现有ETL工具，使实时增量同步成为可能。历史交易数据查询采用SQL进行查询，可在1秒内完成，可支持每秒1万的并发SQL查询。同时对所有交易数据通过SQL进行批量处理,对近期三个月交易数据进行行列转换载入内存进行交互式分析，可以10秒内完成大部分统计分析。某金融结构报表分析系统：某金融结构有银行和保险等金融业务。银行业务提供多种类型的贷款，为了避免坏账，银行根据金融原理和行业经验设计了许多复杂的SQL，用来对它收集的大量数据进行分析，计算出坏账风险。银行原有的传统关系型数据库和MPP数据库在数据海量和SQL复杂的场景下性能不足，而开源版本的Hadoop无法支持现有复杂业务场景，TDH大数据平台完美地解决了上述问题。Inceptor前端解析层高度支持银行使用的SQL，100%完成了银行贷款风险分析系统用到的大量超宽表统计，并以快于某MPP数据库若干倍的速度返回了结果。内存表Holodesk满足银行所需的大量adhoc（即席）查询，通过对接现有报表系统，可以在一秒内聚合分析几亿条数据，满足了银行业务部门交互式分析需求。某金融机构信用卡中心的大数据平台：某金融机构的信用卡中心拥有大量银行卡实时交易数据，该中心需要打造开放的大数据平台使得各业务部门可以挖掘这些数据中的价值。Inceptor中的分布式大数据挖掘工具全面支持R语言而且提供二十多种并行化机器学习算法。TranswarpR帮助该信用卡中心的大数据平台高效地实现了以下功能：根据刷卡消费的时间、金额和种类分析商圈的范围和密度，找出特定消费类别的重点区域和重点人群。根据刷卡记录分析持卡人的行为特征，如年龄阶段、性别、支付能力、消费频繁度、兴趣爱好、职业性质等等，采用协同过滤等机器学习算法为持卡人推荐合适的商户或产品。从持卡人复杂的连续交易行为中挖掘出规律，一方面找出沉默用户并分析流失可能性，另一方面利用消费规律下推测该用户在未来一段时间内很大概率会发生的消费行为，进行精准的营销。TranswarpDataHub(TDH)典型应用案例2014TRANSWARP星环科技体量大是电力大数据的重要特征。随着电力企业信息化快速建设和智能电力系统的全面建成,电力数据的增长速度将远远超出电力企业的预期。从发电侧为例,电力生产自动化控制程度的提高,对诸如压力、流量和温度等指标的监测精度,频度和准确度更高,对海量数据采集处理提出了更高的要求。就用电侧而言,一次采集频度的提升就会带来数据体量的“指数级”变化。类型多(Variety):电力大数据涉及多种类型的数据，包括结构化、半结构化和非结构化数据。随着电力行业中视频应用不断增多,音视频等非结构化数据在电力数据中占比进一步加大。此外,电力大数据应用过程中还存在着对行业内外能