360大数据平台

360大数据平台介绍唐会军•360大数据规模&能力–大数据服务器规模超过30000台–总存储数据量接近1EB，每天新增超过1PB–每天各种数据计算任务10万个，每天处理数据量10PB–具备一分钟内调动几十万颗CPU核参与计算能力–具备一秒钟处理1TB数据能力•360大数据技术路线–利用最廉价的PC服务器+开源/自主开发软件构建而成–数据的可靠性，扩展性全部自主可控，成本不到IOE方案的1/100•360大数据业务(搜索广告杀毒语音\图像识别…)•360大数据架构图产品计算存储机器学习平台实时计算平台M/R计算平台文件存储平台表格存储平台对象存储平台搜索安全广告语音图像底层云主机内核硬件流式计算平台块存储平台•HBase平台（HDFS,M/R）–运行全球最大的HBase集群之一（3K节点）–存储记录总条数达到100万亿条–增加索引引擎，满足关系型数据库查询需求–增加搜索引擎，对存入平台的所有数据支持字符检索•Cassandra平台–Cassandra集群总规模全球第一（超过10K节点）–增加数据备份，数据冗余EC方案，索引等一系列功能–修复BUG无数，稳定性经受住线上7*24小时，一年365天无服务中断考验•机器学习平台Euler应用计算存储MPI通信框架分布式向量作业管理&任务调度分类分布式矩阵计算框架聚类回归…•Euler平台算法库•聚类–k-means–凝聚层次聚类–minhash–Disjoint-Set–QueryClustering•分类–随机森林–GBDT–LLGC–朴素贝叶斯•主题模型–plsa–Lda•协同过滤–User-based–Item-based•回归–逻辑回归•机器翻译–SMT–EMBT•其它–PageRank：网页排序–ALS：矩阵分解•Hadoop平台（HDFS,M/R）–360内部分支版本（从2010年开始）–单集群规模5K个节点，年底到10K节点–增加了权限管理，性能优化一系列改进•大数据分析平台—云图•语音识别–7人小团队一年时间在搜索语音识别领域超过讯飞–利用公司海量数据优势和海量数据挖掘经验1.82%3.09%0.00%0.50%1.00%1.50%2.00%2.50%3.00%3.50%360搜索讯飞语音+字错误率谢谢！