分布式数据分析与人工

分布式数据分析与人工智能平台及算法实践涂丹丹金鑫[e-mail][e-mail]业界分析：深度学习平台演进趋势Caffe:模块化，支持单机多卡，不支持异构平台，主要用于图像分类、识别。Torch:可读性好，其中网络的基本组成为module，方便实现任意网络的构建Theano:实现符号微分，DAG表达深度网络、符号计算的开拓者，效率较低，主要用于NLP等任务，不适合大规模的深度学习模型训练。百度PADDLE：基于MPI实现分布式深度学习，已经开源了OCR、人脸识别API主要是学术界深度学习科研人员开发，用于新算法探索研究。大部分还不支持模型并行机制、不支持异构平台。腾讯Marina:目前公开的是单机多卡的平台，主要用于语音识别，采用线性拓扑结构通讯，支持模型并行和数据并行机制，还没开放API。GoogleDistBelief:支持数据并行模型并行机制，支持上千节点，主要用于Google内部Gmail，搜索等业务。闭源不利于很好使用生态圈，Google策略有闭源、开源，或二者结合。MXNet:混合符号编程和命令式编程，支持数据并行，不支持模型并行；CNTK:支持数据并行和模型并行，对SGD算法做了优化，并行机制并未开源；TensorFlow:支持数据并行、模型并行，开源的分布式能力逐步增强Spark+Caffe:在深度学习使用Caffe，Spark在大规模参数计算没有优势；Poseidon：结合PetuumSSP能力，但深度学习方面仍依赖于Caffe。主要是Google,微软等大公司推动，目前业界开源较多，在平台并行机制、集群管理、调度、支持算法丰富度等方面还很不成熟。123深度学习平台的演进趋势：从单机到多机，计算能力提升；平台化，可视化，易用性提升；开源+闭研结合，依赖生态圈，构建关键竞争力。开源单机深度学习平台企业闭源深度学习平台开源分布式深度学习平台传统的机器学习研究并不把海量数据作为处理对象，很多算法是为处理中小规模数据设计的，直接把这些算法用于海量数据，效果可能很差，甚至可能用不起来。业界分析：大数据分析与人工智能算法技术发展趋势新的数据种类不断涌现，对大数据集、高维数据的学习，算法关注点转移到分布式可扩展、有效利用非标记数据解决训练数据质量问题（半监督学习）、提高学习结果泛化能力（集成学习）、不同领域进行知识迁移（迁移学习）、特征自动学习（深度学习）等大数据+复杂算法（增强智能性，关注特征自动学习、模型自动选择、知识迁移、算法持续学习能力）1950-1980+1990-2000+50s：基于神经网络的连接主义学习（Perception等）60s：以决策理论为基础的统计学习和强化学习(ID3、VC熵、VC维等)70s：基于逻辑或图结构表示的符号学习80s：从例子中学习，如回归、聚类小数据+复杂算法（关注推理、知识表示准确性）大数据+简单算法（关注算法可扩展性、泛化能力）90s：神经网络学习算法（BP等）、统计机器学习（支持向量机SVM成熟）、关联规则（Apriori、FP-Growth等）00s：可扩展机器学习（分布式LR等）、集成学习（Boosting、Bagging等）、强化学习（Q-learning等）、概率图模型（Markovrandomfields等）深度学习：DBN(DeepBeliefNetwork)、CNN（ConvolutionalNeuralNetworks）、DBM(DeepBoltzmannMachine)、RNN等迁移学习：CoCC、SCL、TrAdaBoost等终身学习：ELLA等中小数据时代大数据时代2010-Page4智能运维（根因分析，问题定界，故障预测，…）最优调度（基于SLA的应用网络调度，在线防护，全网洞察，…）最佳体验（用户体验保障，分片网络，…）分布式数据分析与人工智能平台使能ICT基础设施智能化KeyMessage：1.自学习反馈，持续个性化成长2.多个深度网络联合推理及根因分析3.大规模网络状态分析及最优决策4.360度分析，提供个性化业务定制5.专家融合知识库深度洞察（个性化营销、Cross-sell，up-sell，…）大数据分析与挖掘平台ICT知识库以及海量数据案例库问题单产品资料FAQ……整合深度学习、增强学习和专家知识Page5管理平台运行环境/操作系统/硬件平台知识管理算法APIsService/TaskAPIs知识库预置模型推荐、问答、对话、预测、识别、决策…学习策略集成学习、强化学习、迁移学习数据处理存储、数据预处理、批处理、流处理基本算子分布式框架算子APIs数据切分、通信优化、异构资源调度、模型及参数并行迭代计算、矩阵计算、张量计算基础ML算法、深度学习、图计算、最优化、知识推理智能服务算法框架分布处理平台分布式数据分析与人工智能平台面向ICT领域构建高效分布式大数据分析与人工智能平台，支撑电信、IT、金融、大视频等场景离线大数据分析平台支持UseCase的快速开发。解决UseCase大规模发布与部署问题统一的特征集合管理(基于UseCase沉淀)，一次开发多UseCase共用，减少模型前期数据处理的开发工作量。交互式的数据分析能力，多语言交互式探索能力，提高UseCase数据分析的效率。提高UseCase开发与定制效率UseCase开发完成后，通过Pipeline打包、发布。UseCasePackage发布后，现网快速的导入安装即可运行，整个安装过程实现自动化流程管理。插件式的UseCase管理按需发布统一的统计学/机器学习/数据挖掘算法的管理与开放式算法注入，提高建模的效率。业务模型算法的沉淀，实现模型的代码重用性，减少重复开发。组件式的业务/数学算法沉淀提高模型重用率HadoopRDBSpark,SQLNotebook(R,SQL)其他I层组件PythonLibRLib(DDF)SQLLib算子库管理Pipeline特征工程管理模型管理打包翻译ScheduleAdapterDM/MLStudio(R、SQL)ModelDM/ML生产环境探索环境调度/部署随机抽样算法特征库特征UseCase管理UseCaseAPP化、敏捷开发平台离线批处理计算平台实时流计算平台原始数据采样特征构造模型训练模型部署预测预测结果模型评估采样特征构造模型训练模型部署模型评估预测预测利用离线数据挖掘上的特征构造、模型选择、训练评估，将最终的预测模型发布到流计算平台上。离线训练模型同时可以发布给流计算平台进行实时增量更新流挖掘算子具有模型实时评估能力，可据对模型进行实时更新，应对实时的业务变化。流预测算子可实时加载分布式实时流挖掘平台分布式深度学习平台架构Page8平台算子库通信通道加速）通信通信拓扑优化参数Filter参数压缩模型动态裁剪多线程异步通信静态图切分调度资源调度DAGCPU/GPU异构调度全局参数存储ParameterServer一致性模型传参策略CPU/GPU协同训练平台模型转换云侧和端侧模型管理多源数据管理（原始数据、标注）模型压缩内存优化CPU/GPU并行加速推理平台FasterRCNNCNNRNNDNNLSTMRBMSparseEncoderCRFLR应用算法对象检测图像分割遮挡分离图像/视频源语言编码目标语言解码文本（机器翻译）音频特征提取声谱图解码语言模型语音（语音识别）特征提取排序推荐中文分词CTCBeamSearchGiBRUAttention词嵌入word2vecAvgPool卷积池化AvgPoolGradBiasAddBiasAddGradConv2DConv2DBackpropInputConv2DBackpropFilter矩阵操作DenseMatMulSparseMatMulMatSumL2LossLossSoftmaxCrossEntropyWithLogitsSparseSoftmaxCrossEntropyWithLogitsCTCLossUniformCandidateSampler采样LogUniformCandidateSamplerLearnedUnigramCandidateSamplerGradientDecent优化方法AdagradAdadeltaAdamRMSPropMomentumFtrlTensor操作ReshapeExpandDimSqueezeRelu激励函数Relu6EluSoftplusSoftsignSoftmaxLogSoftmaxSqrtExpLogTanhSigmoid任务切分背景分离部件分割特征提取高维索引对象跟踪快速查询算法库人工智能算法框架并行AI算法库深度学习并行逻辑推理并行启发式算法并行图计算并行最优化概率统计线性代数积分变换图论机器学习并行高性能数学库业界现状：1.ML算法已成熟，随平台硬件演进持续并行加速2.DL算法理论待突破，训练和预测性能待进一步提升3.图计算、逻辑推理、启发式算法待分布式并行加速支撑大规模数据故障检测工程勘测、质量验收智能助理、应用推荐、智能相册大规模路由优化路径装箱预估、清关单据识别行业+通信+娱乐视频、智能调度应用算法库路径计算多伦对话搜索推荐视频图像OCR语义分析分布式并行数据分析和人工智能算法框架：高性能、低功耗、弹性可扩展构建端云协同并行AI算法库和高性能数学库：向下和硬件结合提升底层基础数学库并行性能、降低功耗；向上和智能应用结合提升复杂场景AI算法性能、自适应能力。高性能分布式并行数学库：面向大数据分析与人工智能场景，实现最佳性能构建高性能CloudBLAS数学库，兼容业界通用芯片，端侧在并行化低功耗自适应上发力，云侧在自适应弹性扩展分布式上发力BLAS是核心控制层，向上对接语言和支撑应用，向下对接硬件分布式计算框架基础数学库CloudBLAS并行算子算法库Spark（网规网优、社交关系分析）Caffe（视频分析）MxNet（视频分析）TensorFlow（自然语言处理、推荐）最优化概率统计图论线性代数机器学习(矩阵加减乘、矩阵分解)深度学习(稠密小矩阵计算)图计算(大规模稀疏矩阵计算)启发式算法(简单、复杂矩阵计算)Hadoop（用户画像）积分变换硬件ARMGPUX86FPGANPUTPU......基础数学库的挑战：1.并行化2.低功耗3.自适应4.弹性扩展以矩阵计算为例:1.大规模稀疏矩阵计算（矩阵切分、分布式计算和通信协同）2.海量稠密张量计算（多核并行、指令级并行）3.复杂矩阵计算分布式（计算强依赖，节点间存在大量的通信开销）大数据分析及人工智能算法分布式并行化挑战已有算法+新分布式并行框架已有算法+新分布式并行框架–诉求：大规模多域网络（20域2k节点）、生存性分析最大8kw次路由计算，计算时间需控制在半小时。新分布式算法+新分布式并行框架新分布式算法+新分布式框架诉求：IP大规模（1万节点，256k业务）单域网络，1分钟内完成全网调优计算。已有算法+已有分布式并行框架已有算法+已有分布式框架诉求：统计计算、机器学习、深度学习数据并行：求和满足交换率和结合律任务并行：任务间局部或者全局计算无依赖对问题进行近似求解，使计算可支持数据并行或任务并行以tag搜图系统和算法：华为手机相册搜索搜索系统由文本提取、索引、搜索提示以及检索等模块组成搜索终端图库时将利用本地Trie树实现搜索提示并给出搜索关键词，调用本地检索模块从本地索引库中搜索图片搜索云端图库时将利用保存在终端的云端Trie树实现搜索提示并给出搜索关键词，发送到云端调用Lucenesearch模块从云端索引库中搜索图片终端搜索系统云端搜索系统端云协同图片搜索算法，端侧降低搜索算法内存使用和功耗，云端提升搜索算法索引更新效率基于Spark对Apriori和FPGrowth算法分布式并行实现大数据频繁项挖掘大数据频繁项挖掘的背景与挑战•公安同行车辆检测，计算1年连续通过多个(1)卡口的车辆(百亿级)，帮助预判可能的集体策划行为或犯罪行为。同时常见应用包括商场购物篮分析、Web应