百度私有云建设和开发部分云端服务(肖伟)

百度云计算介绍百度云计算架构师肖伟  [e-mail]百度内部系统架构搜索广告社区业务数据智能云平台海量数据存储与处理软件基础架构数据中心、网络、服务器硬件基础架构云计算百度内部云特点快速迭代超大规模快速迭代特征离线在线离线分析与在线实验相结合通过反馈来验证算法优劣算法A算法B算法B互联网对快速迭代的需求ü 产品开发全过程  ü 方法论+流程+平台  原型系统快速开发测试产品部署  运维数据收集  A/B测试开发框架数据智能验证数据分析应用引擎应用引擎超大规模特征• 海量数据存储百P  • 大规模数据计算大规模计算描述能力数据流优化控制流管理资源分配优先级、并发控制隔离、安全执行层模型层Map  Reduce  表示层SQL-­‐like  翻译Join  Select  Top    B    C    D      A  计算类型• 通用批量数据处理MapReduce• 大规模机器学习HPC• 计算密集型上下文无关数据处理VolunteerComputing资源调度系统Agent  Executor  Task  Executor  Task  Agent  Executor  Task  Executor  Task  业务总控  资源调度  分布式存储  百度存储体系ü 统⼀一存储体系– 平衡大容量、高并发、低延迟– 不同访问模式通过组合满足ü 统⼀一访问与传输DiskFlashPipeK/VFileTable数据访问层P2PCDN典型实时存储系统：MolaUpdate  CenterUpdate  Center  (backup)Update  CenterUpdate  Center  (backup)chunckchunckchunckchunckchunckchunckupdateMeta  serverMeta  Server  (backup)Qcontroler查询典型的离线存储系统：BailingWrite  StreamBase  StreamIndex  LogsIndex  Stream+Merge-­‐SortMod  StreamMod  Logs+Merge-­‐SortMergePatch  StreamPatch  Logs+Merge-­‐Sort12.12.233.13.2456百度开放云预览互联网服务架构数据智能平台层数据存储与处理基础层IDC与网络网盘应用开放平台智能交通应用层相册云存储开放云平台应用托管事件通知数据分析服务私有云到开放云• 私有云到公有云的转化机制  • 让云接口更易用  • 使更贴近云应用开发  云化机制• 统一的权限管理  • 虚拟化独立隔离环境  云安全保障  开放云逐步开放• hYp://yun.baidu.com/  开放云的公益性质• 已经开放云存储  • 预计Q2能基本功能全开放  开放程度• 对于百万PV的网站，免费额度基本够用  • 资源不够，协商后可以免费继续提高，无规定上限  • 目前提供1T的分布式存储（多副本、多机房、CDN支持）  诚意  • 面向有经验的中小开发团队  开放资质  • 查看：hYp://dev.baidu.com/wiki/yun  • 发邮件到[e-mail]  详细介绍自己  开放流程  云环境分布式存储资源池(  大规模计算结点）调度器镜像服务消息  服务分布式计算数据  分析IO本地存储CPU  &  Memory云接入与管理Network  &  调度网络&  动态负载均衡业务开发流程消息服务分布式队列Comet系统Mail短信HYp可以嵌入逻辑主动推送长连接维持关系计算服务SQLDDB  InstanceReplica_onReplica_onTableTableTable分布式MySQLTable表示层执行层分布式计算系统单机自动化运维分布式数据库分布式关系计算云存储个人为中心数据存储系统数据存储系统用户权限管理Tag服务数据提交系统检索系统数据智能缩略图系统视频预览系统文件预览系统指纹识别Meta管理云存储相册视频音乐文档其他数据云存储空间贴吧手机掌百HiTing第三方开发者开放API第三方私有的  分布式存储百度获发改委项最高激励国家• 百度持续投入得到领域专家和政府部门高度认可和持续鼓励• 百度云计算获三部委最高激励百度• 将大力发展智能数据服务、典型行业应用和公共云计算平台联系方式• 开发者运营平台:  [e-mail]  • 招聘渠道:  [e-mail]  Title  [应聘]