ETHINK-一站式大数据分析、挖掘与可视化解决方案

象形科技 1 [e-mail] 0551-65708092 ETHINK大数据分析挖掘平台产品白皮书 象形科技2016.03象形科技 2 [e-mail] 0551-65708092 版本修订记录： 版本作者说明160301.1446温明杰目录160302.1530温明杰添加内容160310.1542刘国光内容修订160311.1300温明杰内容修订160330.1300温明杰内容修正 排版与格式修正 图片尺寸修正 明显表述错误修正 象形科技 3 [e-mail] 0551-65708092 目录1、大数据挖掘概述........................................................31.1、数据挖掘.........................................................41.2、历程和趋势.......................................................41.3、ETHINK...........................................................52、ETHINK大数据分析挖掘平台概述..........................................52.1、总览.............................................................52.2、功能架构.........................................................62.3、技术架构.........................................................72.4、集群方案.........................................................72.5、目标与展望.......................................................82.6、解决方案.........................................................83、特色.................................................................103.1、拖拽式建模......................................................103.2、可扩展性强......................................................103.3、丰富的数据挖掘，并支持深度学习..................................104、技术优势.............................................................104.1、特有算法及深度学习..............................................104.2、智能数据预处理..................................................114.3、算法自动选择....................................................125、ETHINK大数据分析挖掘平台功能.........................................135.1、支持数据挖掘方法论..............................................135.2、丰富的数据源....................................................145.3、高性能弹性计算引擎..............................................145.4、可视化工作流式模型设计..........................................145.5、交互式数据处理..................................................155.6、丰富的算法并支持................................................165.7、数据可视化......................................................165.8、任务协作管理....................................................176、应用部署.............................................................186.1、部署模式........................................................186.2、系统环境........................................................187、服务.................................................................187.1、行业能力........................................................187.2、技术能力........................................................197.3、服务模式........................................................197.4、产品和服务......................................................201、大数据挖掘概述 现代企业经常会搜集大量的数据，这些数据涵盖了市场、客户、供货商，及其竞争对手象形科技 4 [e-mail] 0551-65708092 等重要信息，但是由于信息超载与无结构化，企业的决策者无法充分利用这些庞大的数据资源，仅能使用其中的一小部分，这可能导致决策失误，甚至出现决策错误。而借助机器学习技术，企业完全有能力从浩瀚的数据海洋中，挖掘出全面而又有价值的信息和知识，并作为决策支持之用，进而形成企业独有的竞争优势。 数据挖掘的目标是从数据库中发现隐含的、有价值、有意义的信息，通过这些信息的解读，预测未来趋势及行为，做出前摄的、基于数据与知识的决策。 现阶段的数据挖掘模型都是针对某些具体的任务和领域，选择一些已经认可的模型。算法和建模的难度很大，既懂技术又懂业务并且知道如何把数据转化为商业洞察力的人才，国内几乎没有。传统数据挖掘系统，强调人工主动参与，循环测试可能有效的挖掘技术，昀终得出相对可行的系统结构，导致了数据挖掘的过程不得不手工化、复杂化。 1.1、数据挖掘 进入信息时代，计算机中的文件、数据库中的数据，总量正在以指数级增长。同时，人们期望从数据中获得更加有用的信息。实际上，这些数据中，仅有一小部分有包含有价值信息。由于，人们却渴求获得知识，正面临“数据丰富而知识贫乏”的问题，故，迫切需要一种新的技术，能够从海量数据中自动且高效地提取有价值的信息，获取有用知识。数据挖掘技术由此而生。 数据挖掘(DataMining，简称DM)，是在庞大的数据中找出有价值的隐藏信息或事件，并且加以分析的过程。其目标在于从数据中获取有意义的信息、从数据中归纳出有用的结构，作为管理决策的依据。此外，数据挖掘发现数据中的一些有价值、却未知悉的信息，而这些信息可能是我们关心，但却未曾知悉的。事实上，数据挖掘并不只是一种技术或一套软件，而是一种通过统计、在线分析、检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现分析目标的综合应用。 数据挖掘是一门交叉学科，它把人们对数据的应用从低层次的简单查询，提升到从数据中挖掘知识，提供决策支持，是建立在数据库、人工智能、机器学习、神经网络、统计学、模式识别、高性能计算等技术基础上的一门新兴技术。因此，在这种需求牵引下，汇聚了不同领域的研究者，吸引了数据库技术、人工智能技术、数理统计、可视化技术、并行计算等多方面的学者和工程技术人员，投身到数据挖掘这一新兴的研究领域，形成新的技术热点。 1.2、历程和趋势 当前数据挖掘的软件已经发展到了第四代，各代数据挖掘软件的基本特点，如下表： 序号 特征 挖掘算法 集成 分布计算模型 数据规模 第一代 作为一个独立的应用 支持一个或 者多个算法 独立的系统 单个机器 向量数据 第二代 和数据库以及数据仓库集成 多个算法：能够挖掘一次不能放进内存的数据 数据管理系统，包括数据库和数据仓库 同质、局部区域 的计算机群集 有些系统支持对象，文本和连续的媒体数据 第三代 与预言模型系多个算法 数据管理intranet/extran支持半结构象形科技 5 [e-mail] 0551-65708092 统集成 和预言模型系统 et 网络计算 化数据和web数 据 第四代 与移动数据/各种计算设备的数据联合 多个算法 数据管理、预言模型、移动系统 移动和各种计算设备 普遍存在的计算模型 数据挖掘任务和方法有多样性特征，故对数据挖掘提出了许多挑战性的研究问题，未来会形成更大的高潮，研究焦点可能会集中到以下几个方面: 1、研究专门用于知识发现的数据挖掘语言，走向形式化和标准化; 2、寻求数据挖掘过程中的可视化方法，使得知识发现的过程能够被用户理解，也便于在知识发现过程中的人机交互; 3、研究在网络与分布式环境下的数据挖掘技术，特别是在Internet上建立数据挖掘服务器，与数据库服务器配合，实现数据挖掘; 4、加强对各种非结构化数据的挖掘，如文本数据、图形图像数据、多媒体数据; 5、探索可伸缩的和可交互的数据挖掘方法，全面提高挖掘过程的总体效率，尤其是超大规模数据集中数据挖掘的效率; 6、扩大数据挖掘应用范围，如金融分析、生物医药研制、犯罪侦查等; 7、开发适应多数据类型、容噪的挖掘方法，以解决异质数据集的数据挖掘问题; 8、动态数据和知识的挖掘等。 1.3、ETHINK 象形科技聚集了科大的技术专家和象形的行业专家，从数据挖掘的先进技术性与行业实际应