BI商业智能与大数据应用的区别

教你读懂BI商业智能与大数据应用的区别之所以要区分大数据应用与BI(商业智能)，是因为大数据应用与BI、数据挖掘等，并没有一个相对完整的认知。BI（BusinessIntelligence）即商务智能，它是一套完整的解决方案，用来将企业中现有的数据进行有效的整合，快速准确的提供报表并提出决策依据，帮助企业做出明智的业务经营决策。伴随着BI的发展，是ETL，数据集成平台等概念的提出。ETL，ExtractionTransformationLoading，数据提取、转换和加载，数据集成平台主要功能对各种业务数据进行抽取和相关转化，以此来满足BI、数据仓库对数据格式和内容挖掘的要求。数据集成平台的基础工作与ETL有很大的相似性，其主要功能是实现不同系统不同格式数据地抽取，并且按照目标需求转化成为相应的格式。数据集成开始是点对点的，慢慢地发现这种模式对于系统之间，不同所有权的企业数据流向以及数据标准控制很难，为此，诞生了对统一企业数据平台的需求，来实现企业级之间的数据交互。数据集成平台就像网络中Hub，可以连接所有应用系统，实现系统之间数据的互通有无。数据集成平台以BI、数据仓库需求而产生，现在已经跨越了最初的需求，上升到了一个更高的阶段。如今大数据应用更多关注非结构化数据，更多谈论互联网，Twitter、Facebook、博客等非结构化数据，如此理解大数据应用，显然就有些走偏了。结构化数据也属于大数据，且呈现出相同的特点和特征，如数据量大，增长越来越快，对数据处理要求高等。结构化数据是广义大数据中含金量或者价值密度最高的一部分数据，与之相比，非结构化数据含金量高但价值密度低。在Hadoop平台出现之前，没有人谈论大数据。数据应用主要是结构化数据，多采用IBM、HP等老牌厂商的小型机或服务器设备。采用传统方法处理这些价值密度低的非结构化数据，被认为是不值得的，因为其产出实在是有限。Hadoop平台出现之后，提供了一种开放的、廉价的、基于普通商业硬件的平台，其核心是分布式大规模并行处理，从而为非结构化数据处理创造条件。大数据应用的数据来源应该包括结构化数据，如各种数据库、各种结构化文件、消息队列和应用系统数据等，其次才是非结构化数据，又可以进一步细分为两部分，一是社交媒体，如Twitter、Facebook、博客等产生的数据，包括用户点击的习惯/特点，发表的评论，评论的特点，网民之间的关系等，这些都构成了大数据来源。另外一部分数据，也是数据量比较大的数据，就是机器设备以及传感器所产生的数据。以电信行业为例，CDR、呼叫记录，这些数据都属于原始传感器数据，主要来自路由器或者基站。此外，手机的置传感器，各种手持设备、门禁系统，摄像头、ATM机等，其数据量也非常巨大。对于分析大数据的工具，目前所有的分析工具都侧重于结构化分析，例如针对社交媒体评论方向的分析，根据特定的词频或者语义，通过统计正面/负面评论的比例，来确定评论性质。如果有一个应用系统是接收结构化数据的，例如一个分析系统，接收这些语义就可以便于分析。让大数据应用落地，其中的关键在于与行业应用的深度融合。公安行业的视频影像处理是一个特定应用领域，传统BI、ETL工具拿这些数据没有办法，采用分布式Hadoop进行处理能够带来很好的效益，因为Hadoop可以处理数据量足够大。公安行业实际上已采集了大量视频影像数据，利用这些数据，可以追踪一个嫌疑犯的行踪，什么时间在全国哪些地区出现过。这些应用不可能单纯依靠人的力量，需要借助人脸识别、图像识别技术、模式处理，数据压缩等技术，需要海量处理软件，抓出相关特征，帮助公安人员提高工作效率。在电信行业，计费系统实际上是对各种数据进行整合后的结果，是一个缩小的数据。借助大数据应用，运营商可以原始大数据进行分析，例如分析传感器数据是否有异常，从而判断设备异常等，这些都是一些用传统BI工具无法实现的分析，其结果往往会出乎意料，帮助运营商提高服务水平以及用户的满意度。在互联网行业，通过分析手机上网轨迹，可以分析了解客户群，了解用户的偏好，此外，获取地理位置的信息，也具有特定价值。从这些行业大数据应用分析来看，一个是视频影像处理，一个是日志分析，另外一个是处理特定文件格式的分析处理，彼此之间显然没有任何通用性的特点，其共同点就是利用了廉价的大数据处理平台。很多人对大数据与BI之间的关系弄混淆了，其实大数据和BI之间有很多对立面。我们在项目实施中一直遵循这一原则。例如：全量思维。不用抽样建模，再回到DW实施。大数据利用全量数据直接跑，先在大宽表中找到以前靠业务经营选择的字段，即依靠机器学习建规则，再在全局数据中实施。大数据在这个层面首先是基础设施，能够完成以前不能完成的任务。这是大数据的IT属性，Hadoop分布式计算带来的颠覆创新。个性化。BI面向决策，面向人的干预。输出形式更多的dashboard.report。因此对事实描述更多是基于群体共性，而不是个体刻画。而BI系统需要汇总成宏观统计数据。前者帮助我们深刻的了解每一个用户，适合于精准推荐类营销类问题，回答Howmuchhowstrong的程度类模糊问题；后者帮助决策者掌握宏观统计趋势，适合经营运营指标支撑类问题，准确回答yesorno的统计意义概率问题。大数据对个体刻画还是BI的群体描述，引发了下面的差异。InsightorAutomation群体共性的描述获得的Yesorno的问题对于复杂经济现象越来越难回答，维度指标越来越多。某种意义上，BI形成的Insight，因为没有形成闭环干预，而没有发挥作用。大数据强调Automation.淘宝更强调为每一笔网购做自动推荐的生产系统。上面的保险客户流失例子，大数据刻画客户后提供给一线销售，数据服务下沉而不是汇总上报，每一个保险员做微决策微行动，风险小反馈及时。大数据更强调提供自动化工具，而不是统计报告。反馈和实验方法因为引入了Automation，和记录行为数据，效果更直接及时。例如互联网最多用的ABtesting.Hulu每日上线的测试有200多个，可见测试方法在数据分析中的重要程度。有机会展开谈谈BI和大数据，在这个概念泛滥的大数据热炒时代，各种公司一夜转型大数据，如何辨别小数据和大数据，不仅是技术基础，更重要的是思维方式。