大数据技术在精准营销中的应用

业务与运营Business&Operation21引言大数据时代，数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。回顾近两年对大数据的探索历程，某基础运营商一方面顺应大势，牢牢把握大数据技术快速发展的机遇，另一方面应势而动，充分释放前期IT集中化、一体化的红利，坚定推进数据集中。先后经历了数据集中采集的积淀、初试大数据Hadoop平台、传统数据库与Hadoop混搭架构的大数据平台创建，以及目前朝开放式大数据服务平台迈进四个阶段。精准化营销与维系系统，依托大数据精准定位支撑端到端多维度维系体系，构建在大数据平台之上，面向客户、面向服务、面向管理，深化数据分析、数据挖掘能力，洞察客户、透视企业，是将大数据转化为实际生产力的重要云化应用之一[1]。1大数据技术架构1.1MPP数据库MPP(MassivelyParallelProcessing，大规模并行处理系统)由多个SMP(SymmetricMultiProcessing，对称多处理系统)服务器通过一定的节点互联网络进行连接，协同工作，完成相同的任务，从用户的角度看它是一个服务器系统。其基本特征是由多个SMP服务器(每个SMP服务器称为一个节点)通过节点互联网络连接而成，每个节点只访问自己的本地资源(内存、存储等)，节点之间的信息交互是通过节点互联网络实现的。目前的技术可实现512个节点互联。MPP数据库有以下特点。1)一般存储为结构化数据，有明显的星型或雪花型结构，适用于大数据分析的应用；2)每个服务器都有自己独立的存储、内存和CPU，允许动态地增加或删除节点；3)数据分区划分到不同的物理节点上，通过分布式查询优化来提高系统整体性能；4)主要用在数据仓库和大规模的分析处理应用中。1.2Hadoop大数据处理平台Hadoop是参考Google相关技术而发展起来的开源分布式存储和计算系统。其核心部分是HDFS(HadoopDistributedFileSystem，分布式文件系统)和M/R(Map/Reduce)。HDFS是一个高度容错性的存储系统，M/R则是一个计算框架。一个M/R作业通常会把输入的数据集切分为若干独立的数据块，由Map任务以完全并行的方式处理。框架会对Map的输出先进行排序，然后把结果输入给Reduce任务，作业的输入和输出数据都会被存储在HDFS中，整个框架负责任务的调度和监控以及失败任务的重新执行[2]。1.3ETL技术ETL是指将数据从源端经过抽取(Extract)、转换大数据技术在精准营销中的应用王小鹏北京东方国信科技股份有限公司北京100102摘　要简要介绍主流的大数据技术架构和大数据挖掘技术；阐述大数据技术在精准营销与维系系统建设中的应用，包括技术实现方式以及大数据能力的体现，最后展望大数据应用的前景。关键词大数据应用；大数据技术；精准营销；大数据挖掘；大数据能力业务与运营Business&Operation22(Transform)、加载(Load)至目的端的过程，该部分在数据挖掘和分析过程中为最基础的一部分。一个良好的ETL系统应该有以下几个功能。1)消除数据错误并纠正缺失数据；2)对于数据可信度的评估提供文档化衡量；3)获取相互作用的数据流程来保护数据；4)整合多个源数据；5)将数据进行结构化供最终用户使用。2大数据挖掘核心技术2.1语义引擎语义引擎即为一种能够从非结构化数据中提取有效信息的一种工具。相对于结构化数据而言，不方便用数据库二维逻辑表来表现的数据即称为非结构化数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。2.2数据挖掘算法数据挖掘算法是一个不断验证不断匹配的过程，需要数据分析人员与业务人员不断地沟通和交流，使采集的数据更加符合实际营销情况。多数情况下，数据挖掘技术与在线联机处理分析(OLAP)方法相伴使用，也可以单独使用，选择正确的挖掘算法至关重要。如分析电信客户在生命周期中处于哪种状态，需使用回归分析；分析挽留预流失用户，要根据以往流失用户特征预测用户是否有流失意向，需使用分类算法[3]。2.3可视化分析数据可视化是利用图形、图像处理以及用户界面，向用户清晰有效地传达数据所传达的信息。目前，数据可视化技术一般以表格、图形、地图等形式为主，实现图表联动、图表转化、表格下钻、多维切换、地图数据高亮显示等功能。2.4预测分析预测性分析是根据可视化分析和数据挖掘的结果做出预测性的判断。数据挖掘可以预测“谁可能是手机报倾向使用用户，谁可能更喜欢玩网游”，或者预测“谁可能即将离网”。2.5大数据处理技术大数据处理技术按目前分类，可分为大数据查询与数据分析、数据库技术、流与复杂事件处理、分布式文件系统等[4]。3精准营销与维系系统的技术实现精准营销与维系系统的大数据平台，既要支撑对内的数据分析应用(包括面向管理层的企业管理和经营分析，面向前端的业务开发、运营与推广分析，面向后端的网络运营与优化分析)，又要支撑对外的数据开放与数据经营服务，包括数据产品化。3.1系统架构某基础运营商的大数据系统架构如图1所示。主要包括大数据uCloudD“三大体系、四大平台”的总体规划以及全网、宽带明细数据、企业管理域核心数据、移动互联网流量日志、全网手机终端数据等。精准化营销与维系系统是构建在大数据平台之上，基于数据平台的数据支撑能力，依托传统B域高价值密度数据，充分挖掘O域上网行为等低价值密度数据，通过开放式应用平台将其数据能力转化为实际生产力。3.2MPP与Hadoop+MySQL目前大数据存储技术领域有两个主要的技术阵营和研究方向。一是MPP(MassiveParallelProcessing，大规模并行处理)数据库；二是以Hadoop+MySQL为代表的分布式文件系统。如表1所示[5-7]，MPP兼顾计算和数据访问，在计算能力上不如Hadoop，在数据访问能力上不如MySQL；Hadoop提供了优秀的海量计算能力(同时提供一定程度的数据访问能力)；MySQL提供了优秀的数据访问能力，二者结合能够提供优秀的综合数据加工和访问能力。3.3数据采集与整合大数据平台对生产系统数据的采集及整合是精准化业务与运营Business&Operation23营销与维系系统建设的基础。大数据平台的采集整合数据分类与技术如图2所示。1)结构化数据采集与整合。采集生产系统和业务平台的数据，并通过DCN承载传输。实现前置机中的全/增量数据的实时/定时采集功能；实现前置机中基于Web服务的少量数据采集功能；实现前置机与交换平台之间的传输控制交互功能。2)非结构化采集与整合。采集互联网相关的内容及行为信息，并通过IP网承载传输。通过网络爬虫引擎采集静态的互联网浏览内容信息，以及通过页面标签解析引擎采集互联网浏览历史和行为等信息。3)流数据采集与整合。采集网络信令、设备日志、互联网实时行为等流类型数据，搭建流处理引擎和消息处理引擎。4)临时数据采集与整合。采集各省各部门一次性数据，通过文件方式直接传输入库到数据集市[8-9]。4精准营销系统实现电信基础运营商的大数据能力本文研究的大数据能力，主要分为资源能力和数据能力两种形式。合作伙伴或者客户可根据自身业务需求，申请资源能力和数据能力，精准营销系统会为其提供多种合作模式，以满足不同合作伙伴和客户的不同业务需求[10-11]。1)资源类能力。主要是指基础থةۅ܌႑֒႑ྔࢬᆰॲਜ਼ࢽঢ়૙ᆐᄽཐپ૙ฆྪᄻླྀໃऄۯ࠶૙ݛӄ֧ࣄݛӄอ಼ݛӄኴႜݛӄೠࠚݛӄੰՔധ࠶૙ةۅ࠶૙ᆌᆩࠀీਸݣ๕ᆌᆩೝ໼߾ਏኧ׫ᆌᆩ઀ॐᇑፇॲĊĊएᇀQbbTೝ໼ഓᄽपޜခጺ၍ຕ਍ዎ૙ຕ਍ޜခޜခ࠶૙ހጎޜခ๫཮ޜခগԨޜခگॏኵ௢܈ຕ਍)঳ࠓࣅ0ӷ঳ࠓࣅ0ݥ঳ࠓࣅ*ߛॏኵ௢܈ຕ਍)঳ࠓࣅ*ጆᄽण๨जၳ࠶૙ૌऄۯඪခૌऄۯݛӄૌࠅࠌ॔੦Քധࠅࠌ႑တࠅࠌਜ਼ࢽՔധࠅࠌਜ਼ࢽ႑တ߲Ⴀࣅਜ਼ࢽՔധ߲Ⴀࣅਜ਼ࢽ႑တևݴࠅࠌຕ਍߲Ⴀࣅ॔੦Քധ߲Ⴀࣅ႑တຳᆶຕ਍ୁຕ਍ୁऺ໙ᆅ൤ժႜऺ໙ᆅ൤ݴք๕࿔ॲဣཥݥ࠲ဣຕ਍ੰčččččččč঳ݥࠓࣅӷ঳ࠓࣅ঳ࠓࣅEXBEXEPPTຕ਍֑णᇑ঍࣑)ᅃۅຕ਍༵ࠃĂຕ਍঍࣑࿔ॲՊణ*ยԢනኾဣཥනኾNᇘǖ֎ခĂට૰႑တڪCᇘǖਜ਼ࢽĂׂ೗Ăޜခ႑တDᇘǖएበĂ၍ୟ႑တڪਜ਼ࢽྪฉ႑တྔևဣཥ࡛ଉၘڇںᇘण๨঳ࠓࣅӷ঳ࠓࣅݥ঳ࠓࣅčୁଉනኾࢻ૴ྪႜྺࢻ૴ྪాඹਜ਼ࢽ471ࣃၟ!čč图1系统架构图特性MPPHadoopMySQL数据计算类海量计算性能优良优秀－计算框架存储过程，最新架构支持MapReduceMapReduce－算法丰富度封闭架构，限于MPP本身提供开放架构，多种算法套件－非结构化数据处理不支持支持－横向扩展能力实验环境刚支持1000节点有支持数千机器节点的案例－数据访问类即席查询能力支持，SQL子集支持，Hive/Pig支持使用SQL查询查询功能和场景丰富度支持SQLHBase支持基于列查询，功能不如SQL查询丰富支持SQL高并发查询性能少量用户查询性能良好，高并发查询性能急剧下降HBase支持高并发查询通过集群方式能够提供上万并发查询能力数据封装支持支持JDBC访问接口HBase支持RESTAPI丰富的编程接口表1MPP、Hadoop和MySQL基本特性对比ຕ਍঍࣑ݛ๕ጺև֑णู֨ݴ֑ण֨ຕ਍ᇸຕ਍٪ئຕ਍٪ئຕ਍ᅍدຕ਍ᅍدएᇀEDOڦᇺײຕ਍د๼एᇀXfcޜခڦᇺײຕ਍د๼XfcޜခEDO௬ၠጺևဣཥڦമዃऐ௬ၠูݴဣཥڦമዃऐएᇀJQ׶ሜྪڦᇺײຕ਍د๼एᇀJQ׶ሜྪڦຕ਍د๼एᇀJQ׶ሜྪڦຕ਍د๼ྪஏಂ،ᆅ൤ᄻ௬Քധ঴ဆᆅ൤ຕ਍د๼ຕ਍د๼௬ၠጺևยԢࢅဣཥڦୁت૙ᆅ൤௬ၠูݴยԢࢅဣཥڦୁت૙ᆅ൤ྪᇮথ੨႑တ֑ण঴ဆยԢຕ਍༵ࠃई๑ᆩ๚ॲة݀ᇑຕ਍๎՚ຕ਍༑໭ᇑጃൽၩတվइᇑຕ਍؏ൽᆩࢽࣆݯၘڇĂ؊ছݯၘڇᆩࢽሺኵᄽခ۩ࠔၘڇ3H04H0ሺኵᄽခᇱ๔ࣆڇୁଉၘڇĂዕ܋๑ᆩ!!๚ॲڪ!!ࢻ૴ྪྪበాඹ៓બ႑တࢻ૴ྪᆩࢽ໇໭Ăೠஃ႑တ߳ዖྪᇮዐڦํ้ྪஏ႑ସยԢනኾĂဣཥڪ!!ิׂဣཥཚ႑ྪஏࢻ૴ྪୁຕ਍ᄽခೝ໼图2大数据平台的采集整合图业务与运营Business&Operation24运营商对外开放计算资源和存储资源，针对外部合作伙伴和客户实行按需分配资源，允许合作伙伴和客户在所分配资源内部署业务运营所需的应用，在资源范围内使用已授权的电信数据资产，同时，允许其与自身数据进行融合，与电信业开展数据应用运营业务合作。2)数据类能力。主要指在保证数据安全的前提下，向合作伙伴开放数据资产，允许合作伙伴将其所拥有的数据与电信数据进行充分结合，产生满足业务需求的价值数据，或者借鉴已成熟的数据模型，形成自身个性化的数据模型。主要包括：数据转售、数据咨询、数据能力开放等。数据转售是指汇聚电信数据资产、外部关联数据、经过脱敏、分析挖掘等加工处理后依按需有偿原则向第三方提供数据接口调用的服务。通过数据挖掘将用户登陆网址分析的大样本数据出售给相关客户，如淘宝、京东、苏宁、新浪等，方便客户进行价值营销，形成新的盈利模式。数据咨询是指对电信数据、关联的外部数据进行收集、存储和加工，形成有价值的商业咨询报告，向第三方提供以获取信息增值收入。数据能力开放是大数据能力平台的虚拟运营模式，第三方租用平台空间、计算和数据资源，开展数据分析和挖掘应用，以满足自身业务需要或向其客户提供商业信息服务。为实现大数据能力，主要从以下几点进行分析。1)洞察客户需求，提升客户感知。①洞察客户特征，精准把握客户需求。基于大数据，构建多维度分类分级的高清客户画像，洞察客户消费行为与需求偏好，开展以客户为中心的精准化、高效率的套餐推介、服务维系、流量助推、定向营销等活动，贴合客户需要，提升客户感知。并储备对外合作数据价值多元化、多样化的服务交付能力，如以大数据平台的完整客户画像为基础，为客户进行一对一的个性化广告投放，通过短信等方式发送餐饮、娱乐、购物等生活信息推荐给客户。②客户触点管理统一，确保客户体验一致。以客户为中心，实现多部门多活动、线