智能边缘计算新一代大数据与人工智能的基础设施

云计算基础设施的构建与大数据处理云计算的发展趋势完整的云计算是一整个动态的计算体系，它由大量的计算机组成集群，提供托管的计算环境及应用程序环境，能够动态部署、动态分配／重分配计算资源、实时监控资源使用情况。一个是基础设施服务(InfrastrctureasaService)，主要提供计算中心、硬件资源、系统软件等基础设施服务一个是平台服务(PlatformasaService/SoftwareasaService)，主要提供应用开发和运行平台服务一个是软件业务服务(SoftwareasaService)，主要提供各种商业服务云计算的本质——云计算的构建-首都在线云平台为例云计算的本质——典型的云计算产品架构-首都在线云平台为例BGPGPNIPGSS其他对象存储资源高仿IP安全屋自建融合服务器DCI存储阵列分布式IO存储计算-虚拟化产品计算-虚拟化机房基础设施大网节约成本弹性扩展安全稳定快速运维解决瓶颈和痛点站在巨人的肩膀上发展2G与低带宽时代-语音、短信、结构化数据、Web1.0/2.03G与带宽提速时代-语音、图片、结构化数据非结构化数据、Web2.04G与高带宽时代-语音、图片、短视频非结构化数据5G与高带宽时代-？帧数据时代流数据、时序数据•NoSQL数据库的兴起：•Redis、Memcache；•MongoDB、Cassandra；•Hbase。•大数据处理：•HadoopMR；•Spark/Streaming;•Storm…；•新一代的云数据库形态：•HybridDB；•PolarDB；•Aurora；•时序数据库等。•大数据的数据处理能力依赖云计算能力的支撑。•大数据的处理，加入了云计算的PaaS阵营大数据处理不仅限于Hadoop/Spark比如训练人脸识别，分为3步：•花一段时间收集并标注（框出人脸位置）大量照片；•花一个星期左右的时间，挑选深度模型；•交给机器绞尽计算力优化模型中的数千万/数亿权重参数现阶段主流人工智能：有监督的大数据驱动的AI方法论，基于Training-reference•算法•大数据•算力PaaS：AI处理框架IaaS：算力提供PaaS：数据库NoSQL大数据处理新一代云数据库TensorFlowMxnetOpenCL运行环境算力、芯片调度平台SaaS：大数据、AI应用通用算力集群，普通实例，CPU/MEM/Disk,支撑大数据的存储与计算；•Hadoop、Spark、kafka、etcGPU计算集群，GPU实例：•MPI、AI计算框架（TensorFlow、Mxnet、Caffe、etc）FPGA计算集群，FPGA实例：•OpenCL进行芯片编写CPUGPUFPGA边缘计算的兴起与落地形态边缘计算的构建形态2015年边缘计算进入到Gartner的HypeCycle(技术成熟曲线)，2017年达到顶峰。2016年10月，由IEEE和ACM正式成立了IEEE/ACMSymposiumonEdgeComputing，组成了由学术界、产业界、政府共同认可的学术论坛，对边缘计算的应用价值，研究方向开展研究讨论。学术研究12017年IEC发布了VEI(VerticalEdgeIntelligence)白皮书，介绍了边缘计算对于制造业等垂直行业的重要价值。标准化ETSIMECISG，OpenFogConsortium，OpenEdgeComputingInitiative、ECCChina等；。产业联盟3OCP、TIP、EdgeXFounddry、OpenStack、Kubernetes、OpenNFV、Tensorflow、Caffe、MXNet等开源项目4边缘计算已经掀起产业化的热潮，各类产业组织、商业组织在积极发起和推进边缘计算的研究、标准、产业化活动。具有代表性的活动包括:2总体来说，在传输的数据数量与成本现状增加时，edgecomputing的价值会凸显。未来，随着边缘端产生的数据越来越多，edgecomputing的适用性会增加。EdgeServer针对newMarket智能硬件、手机、平板等市场服务器市场Cloud云端计算、训练集群EdgeServer自定义视觉计算1自定义视觉计算2BI分析自定义视觉计算n编排引擎•通过在云端进行边缘计算能力（算法模型）的定义与程序（计算）编写，完成边缘计算能力的定义，并将计算能力下沉到EdgeServer。•EdgeServer侧可以进行可以包括视觉类的图像处理主要包括视频中人员的检测与分析统计等。•每一个自定义的视觉计算即为一个容器，通过开放URL基于Openapi提供视频接入与处理功能。IPCamera+H.264/265CodecSocket/https运行环境算法仓库镜像库软件定义的工作流程边缘计算节点视频处理音频处理结构化数据处理管理系统CRM系统京东淘宝云端主要职能：1.结构化数据的存储与分析；2.管理职能。EdgeServer端主要职能是完成数据汇聚：1.视频分析与存储；2.音频分析与存储；3.店员交互界面（Web页面），将问询、购物卡等结构化数据补充到系统。在这种场景下，店员也变为数据的输入方，可以补充视频、音频非结构化数据的不足。该场景下：1.京东、淘宝等的用户购物数据，以手机号为key值，进入CRM系统，缺乏用户的真实姓名、图像、年龄段等关键数据；2.用户进店以后，通过视频、音频可以获取用户的图像、声音、年龄段、性别等数据，但是缺乏手机号、姓名等关键数据；3.通过店员进行交互，比如问询、填写购物卡等，可以获取用户姓名、手机号等关键数据；以手机号为key值，通过摄像头、录音笔、店员问询填写购物卡等数据，可以将整个数据整合，形成：姓名、年龄、性别、手机号、图像、音频、购物情况等完整数据。整个数据的采集与交互(摄像头、录音、店员数据输入)都可以在EdgeServer端完成。零售业云端系统基于云网一体化的边缘计算新一代整体架构边缘计算与云计算结合截止到2017年，我们在全球共建立了17个节点，覆盖亚洲、北美、欧洲，共计超过500G的海外带宽。全球17个节点列表：达拉斯，纽约，洛杉矶，法兰克福，阿姆斯特丹，东京，韩国，新加坡，香港，台湾，北京1，北京2，北京3，无锡，广州，上海，迪拜。我们将这些节点进行划分，重点建设达拉斯、法兰克福、新加坡、迪拜、北京5个大规模云计算中心，并在这些周边部署12个次级节点，完成整体的网络搭建。由首都在线全球云环网承载，通过多环冗余方式架构在首都在线全球一体化云平台（GIC）上。云互联让每个客户都拥有专属自己的全球以及本地私有网络。云互联让用户分布在全球各地的云节点，采用二层通信，用户可以自行配置三层通信。即具备了内网通讯能力，又加快数据的传输速度。云互联网络充裕的带宽，稳定的通讯质量，专属客户的与互联网络。单独划分的VLAN结构，保障客户数据安全性和稳定性。云互联自带线路冗余，某一个节点发生故障，可从其他节点绕行通信。中心节点采用高性能计算服务器、存储、25GRDMA内网，提供高性能的计算与存储服务，边缘节点搭建部分低端服务器，快速的接入用户业务，并进行预处理，之后基于网络快速拉通到客户业务层。通用计算形态-示例MachineTypeCPUMEM价格抢占式价格n1-ultramem-4040961GB$6.3039$1.3311n1-ultramem-80801922GB$12.6078$2.6622n1-megamem-96961433.6GB$10.6740$2.2600n1-ultramem-1601603844GB$25.2156$5.3244GPU形态型号GPUGPU内存GPU价格抢占式GPU的价格NVIDIA®Tesla®V1001个GPU16GBHBM2$2.48USDperGPU$0.74USDperGPU2个GPU32GBHBM24个GPU64GBHBM28个GPU128GBHBM2NVIDIA®Tesla®P41个GPU8GBGDDR5$0.60USDperGPU$0.216USDperGPU2个GPU16GBGDDR54个GPU32GBGDDR5NVIDIA®Tesla®P1001个GPU16GBHBM2$1.46USDperGPU$0.43USDper2个GPU32GBHBM2GPU4个GPU64GBHBM2NVIDIA®Tesla®K801个GPU12GBGDDR5$0.45USDperGPU$0.135USDper2个GPU24GBGDDR5GPU4个GPU48GBGDDR58个GPU96GBGDDR5关键功能描述计算同步针对Server算法更新设备管理对EdgeServer进行远程管理与数据监控算法商店AI算法提供，前期以图形像处理为主APP商店对EdgeServer运行所需要的软件进行分发部署运维平台对EdgeServer的状态、日志进行实时查看与管理网络智能调度网路智能调度，边缘端与云计算中心线路SDN管理安全平台对Edgeserver的安全进行管控门户EdgeServer的统一管理入口EdgeserverEdgeServer……EdgeServer集群管理智能调度平台计算同步运维管理云计算中AlgorithmStore心APPStore运维平台（监控、日志）网络智能调度安全平台门户运行于集群之上光纤环网云计算中心智能调度平台边缘中心首都在线介绍首都在线的解决方案挂牌时间：2010年8月股票代码：430071北京首都在线科技股份有限公司（以下简称“首都在线”）成立于2005年，是一家总部设在北京，并在美国、上海、武汉、深圳建有分公司的国际化云计算服务提供商。公司2010年8月在新三板挂牌，股票代码430071。2015年获新三板最具影响力公司奖。2016年6月进入第一批新三板创新层。首都在线提供全线IaaS云计算产品，包括云主机、存储、网络等基础云产品，以及CDN、对象存储、域名服务等产品。客户遍及电商、游戏、金融、大数据、医疗、以及传统政企等诸多领域。首都在线云计算平台的核心优势是基于MPLS的海外全球局域网GPN。目前已经在三大板块：美国（达拉斯、洛杉矶、纽约）、欧洲（法兰克福、阿姆斯特丹）和东南亚（香港、台北、新加坡、东京）部署了17个节点，节点间通过光纤专线全互联，总互联带宽超过200G。18年开始，启动IPO计划。历史悠久国内最早的IDC服务提供商之一：18年网络和数据中心服务经验；国内最早进行云计算商业化运营的专业网络以及数据中心服务提供商。国际布局最早布局海外业务，海外布点、带宽储备最多的云计算平台；完善的海外业务产品体系（海外云主机、GPN专线、BGP回国带宽、海外机房云托管）。专业化运维7*24呼叫中心；7*24运维服务，基于ITIL的标准运维体系。成就客户中国互联网TOP100企业中，超过40家选择首都在线。ARINAmericanRegistryforInternetNumbersAPNICAsia-PacificNetworkInformationCentreRIPENCCRegionalInternetRegistries(RIRs)AssocicationofGremanInternetEnterpriseDeutscherCommercialInternetExchangeamsixAmsterdamInternetExchangeISP(InternetServiceProvider),MainlandChinaIDC(InternetDateCenter),MainlandChinaISO20000InformationsecurityManagementSystemCertificatesISO27001InformationsecurityManagementSystemCertificates国际服务商资质国内服务商资质首都在线是中国最早的IDC服务商之一，拥有十多年网络和数据中心服务经验，是中国最早进行云计算商业化运营的专业网络以及数据中心服务商。我们的使命在于提供首屈一指的云托管服务，并基于云化的托管服务