数据挖掘技术在电视邮件播发中的应用有线电视技术稿

数据挖掘技术应用于电视邮件播发的初步探讨摘要：电视邮件本来是有线电视数字化带来的一项主动服务功能，但是因为使用不当，实践中常常起效甚微，有时还给用户造成一定的困扰。要达到运营目的使收益最大化，必须合理使用这一功能，细分用户群按照用户需要分内容分时段适量发送。根据电信运营商成功经验，利用数据挖掘技术提供决策支持指导邮件播发工作，可以预见其成效。数据挖掘技术进而可以使用于数字电视多业务运营的更多方面。关键词：电视邮件客户细分精细化运营数据挖掘数据仓库1、综述向机顶盒用户主动发送电视邮件是有线数字电视特有的功能。即在电视屏幕的右上方显示信封图样，内容为与客户密切相关的各类信息，比如频道变动、系统升级的通知，比如预存费用快到期了，及时续费提醒等等。用户操作遥控器即可打开邮件阅读。电视邮件的另外一种形式“消息”则将内容直接显示在电视屏幕中央，在用户阅读明白之后自动消失，显示持续时间约30秒至1分钟。电视邮件本来是有线电视数字化带来的一项主动服务功能，但是因为使用不当，实践中常常起效甚微，有时还给用户造成一定的困扰。这些邮件不进去阅读就会有一个小信封一直停留在屏幕上，让人感到不舒服；而消息的自动强制显示更是把屏幕挡了大半个，直接影响观看图像，不看都不行，让人无奈。应该说，城市有线电视用户中占很大比例的是中老年人，很难学会操作机顶盒，不会阅读、删除邮件，既然他们花钱看数字电视，总有选择要与不要的权利。而且这些邮件发送频繁，多数没有特定的目标客户群，对大多数机顶盒用户没有实用价值。许多人反映：回家后第一件事就是删除邮件！也难怪有些用户把之归类为无聊邮件了。数字电视运营的目的，不外乎通过加强管理来满足用户的需要，在用户对我们所提供的节目、服务基本满意的前提下公司获取相应服务带来的收益。电视邮件是数字电视增值业务的内容之一，要达到运营目的使收益最大化，必须合理使用，细分用户群按照用户需要分内容分时段适量发送。2、技术原理2.1信号处理流程为每个数字电视用户提供一个具有专属存储空间的电视邮箱，接收来自数字电视网络的邮件，经协议转换器将邮件打包处理成该邮件的接收用户唯一能够读取的业务信息，以传输流形式转发给数字电视用户。这是目前电视邮件服务通用的技术处理方式。其信号处理流程图如下。HFC网OSD模块协议转换器机顶盒QAM调制器SMS/CA接口机CAEMMISMS邮件服务器协议转换器图1、电视邮件处理流程图在前端的SMS后台，操作人员把需要的文字信息按照智能卡范围、用户号范围、用户地址范围等寻址方式，用电视邮件或消息形式指定时间播发。在CA中，电视邮件的两种形式--消息和邮件，没有什么不同，不做区分。其不同之处在于显示时间不同：显示时间为0秒，机顶盒即处理为邮件，显示时间为非0的数值，机顶盒就处理为消息，并在电视上显示相应的时间长度。因此，从CA功能模块的角度讲，我们在前端只把电视邮件统一称作Messaging，不做邮件和消息的区分。Messaging功能可分为groupmessage（分组播发）和uniquemessage（单独播发）。某些CA厂家将每512张卡划分为一组，如果给一个组的512张卡发送groupmessage，那只用一个EMM，这512张卡就都能收到；如果给一个组的512张卡发送uniquemessage，那需要发送512个EMM才能保证这512张卡都能收到，这样EMM量的区别是很大的，通道资源占用差距明显。但groupmessage只能发送35个以内的汉字（含标点符号），uniquemessage能发送70个汉字（含标点符号）。一条消息中超过35个汉字的部分，自然转为邮件形式发出。因此，应该根据实际情况来决定发送那种类型的message。对于一种message（消息或是邮件）来讲，不论是groupmessage还是uniquemessage方式，在系统中，对一张卡来讲，在同一时刻网络中发的message只能有一个，发送时间最多为7天，7天内如果连发两条或两条以上，系统总会用新的替换旧的。因此，如果在很短时间内连续给一张卡发送message，那么机顶盒很可能收不到前面发的那条。或者，即便间隔时间不短，但发第一条时机顶盒未开机，第二条发完后机顶盒才开机，那机顶盒也只能收到后面一次播发的message。对同一种message（比如说消息），同一张卡收到的分别以groupmessage和uniquemessage方式发来的内容不会互相覆盖。而在播发端系统不区分发的是邮件还是消息，总会用新的替换旧的。邮件与消息机顶盒用户界面截图如下图2、邮件与消息机顶盒用户界面邮件与消息播发后台操作员界面截图如下图3、邮件与消息播发后台操作员界面通过智能卡号进行邮件发送图4、邮件与消息播发后台操作员界面通过用户卡号进行邮件发送图5、邮件与消息播发后台操作员界面通过地址进行邮件发送图6、邮件与消息播发后台操作员界面发送完成后的结果显示邮件和消息的接收对象即机顶盒用户，他们的选取方法有按照住址选取、按照用户号选取和按照智能卡号选取三种。在本质上，几种方法都是按智能卡号寻址的，通过指定一张智能卡来唯一标识一个付费用户。邮件与消息的区别与联系2.2邮件与消息的区别与联系在信号流程、播发通道方面，邮件与消息完全一致。内容在SMS服务器上编辑，机顶盒寻址范围通过相应参数设置，完整的一条邮件播发指令经由CA/SMS接口机送到CA服务器，与其他用户节目授权管理信息EMM、机卡绑定信息VERIFY一起排队等候播发。在待播发数据队列的前一个信息发出之后，实时数据通过EMMI插入器加栽到QAM调制器中，与已加扰的数字电视节目、加密的节目授权控制信息ECM再复用、打包，以TS流的形式调制在高频载波上，通过HFC网发送至用户终端的机顶盒上，由前端指定的智能卡接收，相应机顶盒存储、解析、显示。SMS/CA接口机抓取CA服务器操作结果，把数据播发成功（OK）或是失败（WRONG）的信息存储在SMS端相应OK和WRONG文件夹中，读给SMS服务器，操作员即可了解邮件播发的进度。在作用上，邮件与消息都具备通知、提醒、催缴费用、业务促销、节目推荐等作用。根据显示特性差异，消息更适合播发费用催缴等用户必须读的内容，要强制显示，不能选择屏蔽掉。这也是本着对用户负责的态度。3、使用中通常的做法3.1播发频道选择和其他EMM一样，邮件和消息在所有频点同时播发。为了保证国家、政府政策政令下达和权威经济资讯等发布主渠道的畅通，避免在国家主要宣传门户上做广告的嫌疑，我们都在中央一套、央视新闻频道屏蔽电视邮件和消息的播发。即使机顶盒在这些节目所在频点已经接收到邮件，也要屏蔽掉在以上节目中的显示功能。3.2播发时间选择出于同样目的，邮件的播发要避开新闻联播时间、避开本省、本地市新闻播出时间；从避开EMM传送高峰、避开营业数据对数据传送通道的资源占用防止数据冲突的角度，还要注意以下事项：()避开新授权信息和取消授权信息的播发时间。配合营业厅收费日程安排，有计划、分期分批停断用户授权，收取用户续费，以缓减营业厅压力。对多个营业厅存在的网络，应根据各营业厅、收费网点布局位置、附近用户集中程度，具体确定每月停断节目授权的用户范围。而且要提前通知以便用户合理安排交费时间；(2)避开营业厅间互传营业数据及对帐时间；(3)避开新用户开通中的绑定信息集中播发时间。3.3播发字数的选择因为字数限制，播发内容要再三斟酌，邮件的设计最好是简洁明了，开门见山。尽量缩短影响观众看节目的时间。3.4显示时长选择实际运营中我们发现，30秒的消息显示时间可能更合适。时间再短了难以保证把30多个字看两遍并理解了意思，时间长了又让人觉得不舒服。4、充分挖掘用户数据，合理使用邮件功能许多数据证明，邮件营销也有80/20定律，大部分的收件人对不同的广告其实反应都差不多，只有一小部分用户才会对为用户定制的邮件反应敏感。给阅读邮件的用户群再分类，让电视邮件的转化率最大化，促成邮件接收者成为新业务的首批用户、新节目的定制者或者理解运营商正在做的服务工作、及时续费，邮件发送才算取得了最佳效果。细分用户群，就要理解数据挖掘的概念。4.1数据挖掘的定义所谓数据挖掘，是指从大量、不完全、有噪声、模糊、随机的数据中，通过设置一定的学习算法，提取隐含在其中的，人们事先不知道但又是潜在有用的信息的过程。它是根据数据的微观特征，发现其表征的、带有普遍性的、较高层次概念的知识，是信息优势成为知识优势的基础工程。是从海量的数据中挖掘出可能有潜在价值的信息的技术。它使用诸如神经网络、规则归纳等技术，用来发现数据之间的关系，做出基于数据的推断，将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策，为企业带来利润。数据挖掘其实是一类深层次的数据分析方法，现代管理业正在积极推广的商业智能BI（BusinessIntelligence）理念中，报表系统属于BI的低端实现，数据分析属中端BI，数据挖掘叫做高端BI。4.2数据挖掘技术对数字电视运营的意义对数字电视业务运营来说，数据挖掘就是发现用户数据与业务使用的联系，有针对性开展工作，促进客户ARPU值的有效提升。数据挖掘的关键是从许多来自不同业务系统、不同服务环节的数据中提取出有用的数据并进行清理，以保证数据的正确性，然后经过抽取（Extraction）、转换（Transformation）和装载（Load），即ETL过程，合并到一个企业级的数据仓库里，从而得到企业数据的一个全局视图，在此基础上利用合适的查询和分析工具、数据挖掘工具、OLAP工具等对其进行分析和处理（这时信息变为辅助决策的知识），最后将知识呈现给管理者，为管理者的决策过程提供支持。一个典型的数据挖掘系统结构图如下监视数据源变化、过滤、总结、合并、装载数据安全、归档、维护、备份、恢复数据抽取、转换、装载元数据库数据建模高度综合数据轻度综合数据当前数据历史数据数据源数据仓库管理数据仓库分析过程用户界面数据挖掘引擎（查询工具、C/S工具/OLAP工具/DM工具）SMS/CallCentre、营业厅数据、工程维护历史记录市场调查报告营业、维护、市场人员实时信息录入其他信息/数据渠道（如Internet）模式评估知识库用户访问（人机交互、格式化查询、报表生成）图7、数据挖掘系统结构模块图数据挖掘的实施过程包括确定数据挖掘的目的、数据准备、建立数据仓库、选择相应的算法，在净化和转换过的数据集上进行数据挖掘、结果分析、将分析所得到的知识集成到业务信息系统的组织结构中、评估和检验、反馈。4.3数据挖掘技术在电视邮件发送中的使用数据挖掘基于“知彼知己”，数据准备过程针对特定方向收集各类数据，建立相应的数据库。对于数字电视公司的业务运营来说，这些数据包括来自数字电视SMS系统的产品、价目、服务、业务捆绑、节目套餐、租赁/销售策略、收/退费原则，包括呼叫中心接待能力、维护人员数量、分布、人员素质，和企业所处外部环境中的各种数据，比如数字电视平台各种功能甚至模拟网时的业务、用户数据、我们能够向用户提供的有用数据、节目数量、质量、同类节目其他获取渠道、网络质量、网络维护量、用户其他获取信息和娱乐内容的渠道、本地各行业收入水平、各档次居民小区房价、物业收费水平、住户年龄分布、节目收看时长、时间段、水暖电通信支出、以至于菜价波动情况等等。通过动态、有选择性地采集和更新数据源的有效信息及企业外部相关信息，整合各业务系统“信息孤岛”运营数据，将相关业务数据进行抽取、清洗、加工、整理并加载，建立数据仓库，选择一个适合公司规模和业务发展阶段的数据挖掘软件，建立判别模式、分析这些数据，发现数据之间的关系，利用历史数据找出变化规律，建立模型，并由此模型对未来数据的种类及特征进行预测，做出基于数据的推断，就可以为运营决策提供真正有价值的信息，指导电视邮件针对性使用，有目的有重点细分客户定向播发，有效推动收费、节目营销、业务推广，创造运营收益最大化。电视邮件发送的技术处理过程，是一个前端针对智能卡这一用户唯一标识进行客户寻址，通过广播通道由机顶盒接收、存储、解析、显示，给用户提供有实用性价