数据挖掘在山东移动经营分析系统中的应用

天津大学硕士学位论文数据挖掘在山东移动经营分析系统中的应用姓名：王燕申请学位级别：硕士专业：计算机应用技术指导教师：杨晋生20060601数据挖掘在山东移动经营分析系统中的应用作者：王燕学位授予单位：天津大学相似文献(10条)1.学位论文赵爱琴数据挖掘在电信行业精确营销中的研究与应用2008在电信产业高速发展的今天，增量市场潜力越来越小，企业发展目标越来越集中于存量市场，谁能够更有效地发现客户潜在需求，进而更好地满足客户需求，谁就将在未来的市场竞争中获得优势，因而，各企业都非常重视客户相关数据的挖掘；而电信企业自身所拥有的海量用户数据和产业特点，也使基于数据挖掘的精确营销策略大有用武之地。随着移动数据业务的出现和飞速发展，移动互联网技术己显现出巨大的商业价值和应用潜力。但是面对海量的移动数据业务访问资源，如何从中快速、准确地发现知识，已经成为当今研究的热点和难点，从而，数据挖掘作为其主要的研究方向也随之产生。所谓数据挖掘，从技术角度定义，就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用信息和知识的过程。从商业角度定义，数据挖掘是一种新的商业信息处理技术。其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。数据挖掘技术从一开始就是面向应用的。它不仅是面向特定数据库的简单检索、查询、调用，而是要对这些数据进行微观、中观乃至宏观的统计、分析、综合和推理，以指导实际问题的求解，发现事件间的相互关联，利用已有的数据对未来的活动进行预测，为各级经营决策者提供决策支持，为企业的商业决策提供真正有价值的信息，进而促进销售、增加利润。数据挖掘方法论包括：挖掘过程CRISP-DM，IBM公司提出的通用数据挖掘方法，以及SAS公司提出的SEMMA方法论。其基本内容大同小异，即都包括数据准备、数据抽取、模型建立、模型评估和模型修正等过程。本文使用SAS公司的SAS/EM平台进行数据挖掘和建模，所以采用其提出的SEMMA方法论。该方法论主要包括以下步骤：采样(Sample)：从数据集合里采样，并把数据集合划分为训练、验证、和测试各数据集合；探索(Explore)：用统计方法或者图形方法探索数据集合：调整(Modify)：转换变量，删除有缺失值的记录；建模(Model)：拟合预测模型，例如采用回归、树、协同滤波；评估(Assess)：用验证数据集比较模型。本文在深入研究数据挖掘技术的基础上，结合某市移动运营商的实际案例，探讨数据挖掘技术在精确营销方面的应用，旨在利用数据挖掘技术分析已经发生流失的客户在流失前的行为，找出引起流失的一些规律性特征，使企业可以有针对性的制定相应策略，减少或消除客户发生流失的可能性；把基于科学策略的精确营销引入到电信行业中，为市场营销人员制定可行的挽留方案挽留客户，减低企业由于客户流失造成的损失提供参考。本文的主要内容有：深入研究数据挖掘技术的发展现状及未来发展方向，并对本文案例中所使用的两种数据挖掘方法(Logistic回归和决策树)进行详细阐述；从市场营销与数据挖掘的关系入手，介绍精确营销的定义和发展阶段，阐明基于数据挖掘的精确营销在电信企业中应用的可行性，介绍电信行业精确营销可进行数据挖掘的领域，并根据电信行业产品和营销手段的特点，对电信行业的精确营销利用数据挖掘的前景进行分析与探讨，提出电信行业可以从客户分析、业务拓展、开展新业务等方面进行数据挖掘，对企业的营销决策提供科学支持；最后，笔者以某市移动公司为例对数据挖掘在精确营销中的应用进行了实证研究。在实证研究中，对于数据挖掘模型的选择与设计，笔者建立了两种分类模型：Logistic回归模型和决策树模型，通过比较两种模型的优劣而最终建立了决策树模型，得到具有不同特征的客户群体分类，为对不同的流失客户群体提供一对一的精确化营销策略提供了依据，有利于最终解决客户流失的问题。由于长期以来中国电信行业一直处于完全垄断的行业状态，脱胎于“垄断背景”的中国通信运营企业虽然在网络技术、产品开发上紧追国际运营商的步伐，但在市场运作上则与国际运营商存在较大的差距。在新的经济环境中，传统上所用市场细分的方法已经不太能有效地刻画客户的需求特点，从而导致看似有理论依据的营销策略在市场上屡屡受挫。针对这种情况，本文利用数据挖掘方法对客户消费行为和需求特点进行深度分析，通过决策树模型，对具有不同特征的客户群体进行有效细分，从而为企业对不同的流失客户群体实施差异化、一对一的营销策略提供充分的科学依据。本文所采用的研究方法和手段，对于其他企业进行客户群体的细分，也具有一定的借鉴意义。本文的创新点主要表现在：1、将数据挖掘技术应用到市场经营活动中，对电信业具有不同特征的客户群体进行有效细分，为企业实施有差异的、一对一的营销策略提供科学依据。数据挖掘的实际应用是本文的核心所在，本文尝试将电信业系统大量不完全的模糊的业务数据转化成可识别可操作的有用信息。成功的数据挖掘是让数据有商业价值，即将挖掘技术和商业营销结合起来，使数据中隐含的有价值的商机突现出来，而不单单是学会运用特别的算法或者挖掘工具。国内电信业对数据挖掘的应用主要集中在技术和系统的建设上，较少直接应用到市场经营活动中，而本文利用数据挖掘方法对客户的需求特点进行分析，通过最终的决策树模型，得到具有不同特征的客户群体分类，这就为对不同的流失客户群体提供一对一的精确化营销策略提供了充分的科学依据。从这一点上说，本文做了一些有益的尝试并取得了一定的效果；本文所采用的研究方法和手段，对于其他企业进行客户群体的细分，也具有一定的借鉴意义。2、探索数据挖掘在精确营销中的具体应用。精确营销是当今世界营销界的一个热点问题，对精确营销体系的理解也存在很大差异，由于实践的局限性和技术手段的限制对精确营销的研究还处于初级阶段，尤其是利用数据挖掘的精确营销研究涉及得很少，在我国的研究更是凤毛麟角。本文就此问题作一探讨，探索数据挖掘在精确营销中的应用，既在一定程度上弥补这方面研究的不足，又从实践角度对于面向客户需求降低营销成本、提高营销业绩的实战运用提供有一定参考价值的决策方法。3、对数据进行了剔重、识别和筛选，以保证数据的有效性和可靠性。在本文的实证研究中，笔者发现，原始数据在录入过程中，存在大量的误差和遗漏，导致数据有很多错误记录、缺失值以及重复记录。因而，笔者在分析之前，相应的对数据进行了清洗和预处理，即对数据进行了剔重、识别和筛选，以保证数据的有效性和可靠性。本文的不足和对后续研究的思考：本文通过对相关数据挖掘算法及客户流失预测模型的建立进行数据挖掘在精确营销中应用的研究，取得了一些初步结果，但综其全文，还有许多地方需要通过进一步的研究和努力去完善：1、数据挖掘算法有待进一步改进。本文使用的都是经典的数据挖掘算法，根据电信行业其自身的特点，需要对算法进行一定的改进，比如充分利用相关领域知识去除无关数据，降低维度问题，或者利用相关领域知识进一步精炼所发现的模式，滤除过大的无用信息，从而设计出更理想的知识算法，提高数据挖掘的效率。2、客户分类模型的进一步研究。在应用领域的数据库中，数据大多数是随时间变化的。本文所建模型仅就对客户在当前是否可能流失进行预测，并不能从时间维度上预测客户流失的趋势，这一步需要运用时间序列挖掘算法，值得我们进一步的研究。3、挖掘结果的提取。在对模型结果提取规则的时候，因对业务知识不熟悉，对挖掘结果的提取不能很好的完成，这需要相关分析人员参与。如果能提高系统对知识自动评估的能力，尽可能采用图形表示、有向非循环图结构的规则、自然语言生成以及数据和知识的可视化技术，提高挖掘的可理解性，对结果的提取也就会相应提高。2.学位论文于明凯基于SOA构建电信行业数据挖掘应用平台2009中国电信行业面临着激烈的行业竞争，虽然目前已经建立起大量的计算机应用系统，如计费、营业、账务、网管等，使电信企业的生产效率得到了大幅度的提高，为满足高质量的服务提供了有效的保证。但这些系统仍然有许多不足之处，如系统孤立、数据不能得到很好的利用、缺乏动态捕捉市场机会和及时发现企业所存在问题的机制等，企业在面临竞争时就无法做出快速正确的决策。同时，电信运营商的经营模式也逐渐从“技术驱动”向“市场驱动”、“客户驱动”转化。面对客户的多样化、层次化、个性化的需求，大众化营销已经失去了其优势，基于客户信息、客户价值和行为，深入数据分析的洞察力营销、精确化营销的理念也逐渐被各大电信运营商所接受，并渴望通过从诸多应用系统的数据中挖掘价值来减少营销成本、提高营销效益。满足电信需求的解决方案就是在电信行业中构建数据挖掘平台。直接将现有的数据挖掘技术应用到电信行业中还存在一定的局限性，比如说开发周期长、不够灵活等。SOA是构建新一代企业应用的技术标准，能够整合现有系统，实现灵活流程。本文针对电信行业数据挖掘需求，结合现有数据挖掘技术，提出了一个基于SOA的电信行业数据挖掘解决方案，能够满足电信数据挖掘集成化、灵活性、定制性的要求。本文的主要研究内容如下：1、对数据挖掘的基本原理、流程进行了研究，研究了数据挖掘算法分类，并主要对聚类分析、关联分析、决策树、神经网络等算法进行了研究。分析总结了数据挖掘算法应用领域。1、在此基础上研究了电信数据挖掘流程和体系结构，分析了电信数据挖掘需求及算法应用。在电信数据挖掘结构加入商业逻辑层和模型管理层，并加入了业务数据映射模块，从而能够是电信数据挖掘更加灵活。2、研究了SOA的基本原理、技术，分析了SOA实现方法。引用并分析了IBMSOA基础构建，并提出了SOA技术的几个关键问题。3、结合电信数据挖掘需求、体系结构，划分了电信数据挖掘基本服务，在研究了SCA、SDO、BPEL等SOA技术的基础之上，基于SOA提出了电信数据挖掘应用平台解决方案。4、在解决方案的指导下，详细设计并部署实现电信行业用户行为分析案例。主要实现了用户群聚类分析这个应用，设计了用户群聚类分析SOA服务实现方案，并对该应用进行了展示。3.期刊论文徐光宪.刘建辉.黄素芬电信行业中数据挖掘的应用研究-现代管理科学2004(12)数据挖掘技术,一种新的商业信息处理技术,本文结合当前我国电信行业环境,从管理学角度综合分析数据挖掘技术在电信行业中的作用入手,叙述了数据挖掘技术的概念、常用方法与功能,并在此基础上研究了数据挖掘技术在电信行业中的一些应用.4.学位论文邓志凌基于企业数据仓库的数据挖掘在电信行业中的研究2006近年来电信的业务是全球经济中增长最快的，同时也是竞争最激烈的。电信如何在众多企业中获得消费者青睐，提高企业的分析能力，提高企业的市场竞争力以及维持市场领导地位，是目前最严峻的考验。竞争的加剧使得数据仓库作为决策分析支撑的数据平台日益盛行，并在该平台上进行数据挖掘分析的手段也曰渐普遍。本文从阐述数据仓库和数据挖掘的概念出发，介绍了企业数据仓库的构建，并提出了电信系统的企业数据仓库。接着在企业数据仓库的基础上提出了适应于电信行业数据挖掘模块的设计实现，将适合电信行业的数据挖掘模块和企业数据仓库结合起来，满足电信行业的数据挖掘需求。在对电信行业企业数据仓库进行了深入的研究之后，针对电信行业中常见的客户呼叫模式的关联分析和电信大客户特征的聚类识别，本文提出了基于分区的散列算法(HashPartitionAlgorithm)和基于K-means算法的遗传算法。基于分区的散列算法(HashPartitionAlgorithm)充分考虑了电信行业中基于海量数据中的数据挖掘性能，实现了对数据分区的设计，极大地减少了数据库的扫描次数，同时很好地实现了散列技术和分区技术的融合，并给出了算法的具体实现过程和基于企业数据仓库的实验结果。基于K-means算法的遗传算法实现了适合海量数据挖掘的遗传算法和K-means算法的混合。该算法通过遗传算法，可以显著地降低对数据库的浏览次数，提高算法性能，并能够准确充分地反映大客户的特征，从而实现对大客户特征的聚类。5.学位论文史书奥基于PMM