明星讲师时金魁AS深圳2018华为云边缘计算IoT云服务应用实践

华为云边缘计算IoT云服务应用实践时金魁华为云技术专家时金魁技术专家•华为云技术专家，负责华为云实时流计算服务。•多年来从事高性能计算和大数据方面的工作，近两年专注于Flink和Spark及周边生态框架的研究和产品落地。•曾就职于搜狐,淘宝和阿里云Scala程序员。•物联网技术概览•边缘计算：环境搭建、应用容器、边缘作业•解决方案：边缘计算、IoT数据接入、实时流计算、云存储•演示示例•展望WhyEdge•云能力已完备，能力需延伸云下•敏感数据，不能上云•数据太大，带宽不够，流量贵•网络延迟大，本地毫秒级响应•AIfirstCloud+Edge+Sensor=全方位覆盖物联网拓扑(GJH&ORXG6WRUDJHEdgeHubStreamAnalysisservice26sensorsensorsensorsensorSDKOpenTSDBSensor/OS/SDK，Edge,CloudStreamAnalysis,StorageCloud+Edge+Sensor=FullStack偏硬的部分•传感器•芯片模组:海思NB-IoT•OS:Linux,LiteOS偏软的部分හഝრਫ෸ၞᦇᓒ݌୚කᬳളғ୏რኞாԯኞா&6ਫ෸ၞᦇᓒ6SDUN6WUHDPLQJ)OLQN64/๢࢏਍ԟ)OLQN0/ࢶᦇᓒ*HOO\*UDSK;ᬟᖭᦇᓒ֢ӱ)OLQN64/7LPH*HR6SDWLDO&(3੒᨝ਂؙ5'6හഝളفᤒ໒ਂؙၾ௳᭗Ꭳ':60/6'/6വቘଘݣ056ԯ൤ᔱԯӤຝ຅',6数据接⼊入分析和计算数据存储云连接边缘端蓝图හഝრਫ෸ၞᦇᓒ)OLQN6SDUN݌୚කᬳളғ୏რኞாԯኞா&6ਫ෸ၞᦇᓒ6SDUN6WUHDPLQJ)OLQN64/๢࢏਍ԟ)OLQN0/ࢶᦇᓒ*HOO\*UDSK;ᬟᖭᦇᓒ֢ӱ)OLQN64/7LPH*HR6SDWLDO&(3੒᨝ਂؙ5'6හഝളفᤒ໒ਂؙၾ௳᭗Ꭳ':60/6'/6വቘଘݣ056ԯ൤ᔱԯӤຝ຅KWWSVZZZKXDZHLFORXGFRPSURGXFWFVKWPO',6/LWH26sensorsensorsensorsensorAgentSDKsensorsensorsensorsensor܏ԅၹ௏NB-IoTᜮᇆ(GJH+XEVHUYHUbrokerbrokerbroker)OLQN64/ғ(7/WUDQVIRUPහഝ᭗᭲ғEdgeConnector೰եғḵᦤӥݎ,R76WXGLRኞԾᵞᗭMQTTBrokerMQTTBrokerAPIGWwithLBSMQTTBrokerMQTTBroker୏ݎၥᦶᵞᗭMQTTBrokerMQTTBrokerAPIGWwithLBSMQTTBrokerMQTTBrokerᬳളᓕቘᦡ॓ಢᰁဳٙᰄ๦޾ਞق໊ḵ0477ᬳളᓕቘᦡ॓ᓕቘᦡ॓޸եᓕቘ޸եӥݎMQTTၞහഝၞහഝၞහഝ೰ե᭗᭲边缘计算：环境搭建、应用容器、边缘作业以华为云为例，云上牵引线下，线上运维，上下协同Edge NodeIEFෛୌᬟᖭᦇᓒᕟෛୌᬟᖭᜓᅩෛୌᬟᖭᦡ॓ڡত۸ሾह(GJH+XEғ5XQWLPHCloudStreamAIML֢ӱവᭆӥ᫹ᚕ๜ਫ෸ၞᦇᓒႮଶ਍ԟ๢࢏਍ԟ边缘计算：环境搭建•云上创建边缘计算组•云上创建边缘节点•边缘设备上：下载环境初始化软件包•边缘设备上：安装／校验／注册／启动容器边缘计算：应用容器•docker镜像•StreamSQL：计算能力•ETL：数据清洗，select*fromTablewheremoney100•CEP：复杂实践处理，规则引擎•StreamML：实时故障检测／分类•流式窗口：滑动窗口／翻滚窗口／session会话窗口•…•~~Spark~~，TesnorFlow??模型和推理边缘计算：边缘作业•云上：编辑作业／测试作业•云上：FlinkSQL作业下发到边缘•边缘：•执行SQL作业•传感器设备连接MQTTBroker•数据实时推送到Broker•Broker-消息队列-FlinkSQL-IoTMQ-云提供计算能⼒力力的应⽤用程序Flink JDBCଉአ࣋วၞᦇᓒ݌୚කᬳള୏რኞாԯኞா੒᨝ਂؙ5'6හഝളفᤒ໒ਂؙၾ௳᭗Ꭳ':6ࢶ୚ක0/6'/6വቘଘݣ056X6HDUFK᫣ᘶᗑᇔᘶᗑᬟᖭᦇᓒฬᚆᷚഴਫ෸വគ(7/ၞړຉፊഴय़ፏ&6ਫ෸ၞᦇᓒ๐ۓ6SDUN6WUHDPLQJ)OLQN64/๢࢏਍ԟ)OLQN0/ࢶᦇᓒ)OLQN*HOO\ᬟᖭᦇᓒ)OLQNOLWH)OLQN,R7&(36SDUN6WUXFWXUHG6SDUN*UDSK;)OLQN6WRUP$3,)OLQN)UDPHZRUNRuntimeDistributedStreamingDataFlowDataStreamAPIStreamProcessingDataSetAPIBatchProcessingLocalSingleJVMClusterCloudRuntimeCoreAPILibraryStormAPITable&SQLFlinkMLGellygraphTable&SQLCEPdl4jMLTimeGeoSpatialCEPSQLҁ+XDZHL҂实时流计算详见：边缘计算Anedgedevicecouldbeanythingthatprovidesanentrypointtoanetwork,forexample,routers,WANsandswitches.Theywillactasminiaturedatacentres,abletocommunicatewithoneanother–toforma'fog'–andtypicallywillbeusedforcommunicatingurgentdata.—来源于互联网ApacheGearpump(incubating)实时流计算服务ىᔮғփఽ࢏ᦡ॓҈ᬟᖭᦇᓒ҈ᵰᦇᓒ҈ԯᦇᓒᦇᓒDNSਂؙCDNFogᵰᦇᓒ概念已不重要长什么样不重要趋势云上能力卸载到云下云上+云下，全覆盖赋能AI实时流计算大数据分析避不开的MQTT-面向TCP/IP协议-长连接推拉数据-发布订阅-安全／会话，思虑周全-详见—图表来自MQTT官网MQTT-SN:面向传感器的协议•面向传感器•低功耗•非TCP/IP•发布订阅模式•尽可能类似MQTT相关开源项目•MQTT：年弥新，实时标准•轻量级实时计算框架(基于Akka)•Edgent：边缘计算•(物联网OS)••••akka-actor+netty／akka-http=brokeroredgecloud?边缘的挑战•大数据和ML框架•软件版本裁剪，包不能太大•运行时资源•推理：模型裁剪，准确度在可接受范围内•自动化运维•版本自动升级降级•可视化实时监控•控制通道的安全性•云安全对接与隔离•大数据和ML框架•00M大小•Runtime100M内存•ML扩展：随机森林算法、特征抽取•自动化运维•EdgeHub通过docker升级•EdgeService提供•EdgeHub和EdgeService内部通信•IAM认证，TLS常见场景1：工业物联网•水务•自动化生产车间•光伏发电公有云，私有云，混合云；流计算，边缘，传感器，LiteOS，NB-IoT常见场景2:车联网和城市交通DDLforTimeGeospatial–基本元素1.ST_Point(latitude,longitude)纬度和经度构成点2.ST_Line(array[point1...pointN])多点构成线3.ST_POLYGON(array[point1...point1])多点构成多边形4.ST_CIRCLE(point,radius)点和半径构成圆SQLGeospatialScalarFunctions-基本操作1.ST_DISTANCE计算两点间距离示例例：selectST_DISTANCE(ST_POINT(x1,y1),ST_POINT(x2,y2))FROMinput2.ST_PERIMETER计算多边形周⻓长示例例：SelectST_PERIMETER(ST_POLYGON(ARRAY[ST_POINT(x11,y11),ST_POINT(x12,y12),ST_POINT(x11,y11)])FROMinput3.ST_AREA(polygon)计算多边形⾯面积示例例：SelectST_AREA(ST_POLYGON(ARRAY[ST_POINT(x11,y11),ST_POINT(x12,y12),ST_POINT(x11,y11)])FROMinput4.ST_OVERLAPS(polygon1,polygon2)多边形是否相交5.ST_INTERSECTS检查两条线是否相交6.ST_WITHIN检查⼀一个点是否被包含在⼀一个⼏几何形状中7.ST_CONTAINS检查⼀一个多边形是否包含另⼀一多边形8.ST_COVERS检查⼀一个多边形是否被另⼀一多边形覆盖9.ST_DISJOINT检查两个多边形是否不不相交Sample105:10:18Sample210:14:03Sample317:23:00Sample423:54:19Sample213:27:10Sample320:53:58SQLTimeGeospatial–⾼高级操作，在窗⼝口中的GEO函数1.AGG_DISTANCE(point)计算窗⼝口时间内覆盖的距离示例例：SELECTAGG_DISTANCE(ST_POINT(x,y))OVER(ORDERBYproctimeRANGEBETWEENINTERVAL'10'MINUTEPRECEDINGANDCURRENTROW)FROMinput2.AVG_SPEED计算窗⼝口时间内的速度示例例：SELECTAVG_SPEED(ST_POINT(x,y))OVER(PARTITIONBYuserORDERBYrowtimeROWSBETWEEN10PRECEDINGANDCURRENTROW)FROMinput应用：1.偏航告警2.区域检测3.距离/相交/包含关系4.多种窗口的平均速度和距离