QCon搜索推荐Serverless架构和业务中台技术实践沈敏20191031页

搜索推荐Serverless架构和业务中台技术实践沈敏阿里巴巴高级技术专家在此键入姓名在此键入tittle⾃自我介绍阿里巴巴在职6年，专注搜索推荐及大数据研发方向，目前负责阿里个性化平台技术架构，是目前集团业务规模最大的serverless平台，经历了双11大促百万级QPS稳定性考验，不断在挑战双11技术极限和想象力。团队以“让天下没有难开发的业务”为slogon，支持集团业务的快速迭代和创新，追求让用户真正只关心自己的业务逻辑。⽬目录搜索推荐中台介绍Serverless实践茶歇的双11搜索推荐整体架构（AI·OS）ABFS：基础特征服务iGraph：图引擎BE/DII：召回引擎RTP：RankServiceHA3：搜索引擎AOP：一站式机器学习平台TPP：灵活业务平台标准化：从搜索到推荐支持算法及业务的快速迭代，让用户真正专注自己的核心逻辑集团最大业务规模serverless平台：服务集团62+BU，万级别场景集团最大的JAVA单体应用之一阿里在线水位最高的JAVA应用之一双11百万级QPS，万级别容器TPP:搜索推荐业务平台2015201620172018峰值QPS搜索推荐中台⽬目标AIOSServerless图化算子化⽬目录搜索推荐中台介绍Serverless实践茶歇的双11新业务创建成本过高场景/团队爆发式增长资源调配太难，水位极低双11挑战巨大逼出来的Serverless0过万20112013201420152016201720182019场景我的集群我的集群我的集群Serverless的开始：FAAS传统应⽤用Faas新业务成本git/aone/应⽤用分组/vip/服务框架/业务逻辑git/业务逻辑监控ALL⾃自建平台提供细粒度多维度监控流量量治理理ALL⾃自建平台提供限流/降级/负载均衡/容灾/切流资源⼿手动全时快速弹性迭代⽆无统⼀一实验体系/协作成本⾼高灵活实验/快速发布/敏敏捷协作专注业务逻辑关注业务逻辑剥离业务开发不关心的问题基于JVMRuntime面向JAVA高度性能优化面向在线百万级低延迟在线服务快速弹性全时秒级弹性快速迭代快速实验和反馈产品和体验一键创建函数和资源就绪秒级全方位监控日志分析监控报警AI时代永远缺机器Docker化更细粒度的隔离：AJDK多租户高密度部署代码隔离资源隔离双11大促水位50%热部署：秒级发布：没有镜像push/pull过程，不再冷启动容器化解资源之忧：从Docker到JVM虚拟化⾼高密度部署从同构到异构同构：流量稀疏，性能低隔离性差调度简单异构：流量聚集，性能较优隔离性强二层调度：从容器到场景流量调度：智能负载均衡混布下的调度规模：万级别场景监控：5s级监控反馈Fiber：10s级扩容长尾：0-1/1-0能力智能：多目标弹性CPU/超时率/降级率/限流率从运维解脱：全时秒级弹性业务逻辑复杂度：千行到10万行实验零等待：AB实验分层实验秒级发布Blink实时效果反馈算法灵活实验GraalVM多语⾔言：前后端⼀一体快速迭代JavaRuntimeis“SideCar”多语言无缝对接集团Java生态前后端一体高效研发团队协作：工程和算法解耦信息流多个算法团队的解藕相比istio/envoy：基本无性能开销Java语言生态受众广丰富的自动降级策略异构下的流量调度兜底机制ServiceMesh：团队协作的利利器器服务调用只占算法/业务的5%代码复杂推荐场景代码10w+行相同逻辑的编码千人千面，交接成本巨大逢大促全员性能优化离只关心自己的业务逻辑还有很大距离NotOnlyServerLess借鉴TensorFlow，PyTorch，Flink设计思路逻辑层和物理层解耦同步编程前端语言零基础编写全异步代码UDF承接用户业务逻辑后端全异步执行：高门槛的性能优化下沉平台AJDK协程Reactive业务语义的标准化算子千人千面的复杂逻辑归一化为高性能平台标准实现标准化流程模版真正只扩展自己的业务逻辑全图化：业务逻辑标准化同步编程体验AJDK协程Reactive零基础编写全异步化⾼高性能代码借鉴Blink的优化思路：SQL化平台优化粒度可以细到Long.parse,String.intern等极致的优化数据处理理的⾼高性能抽象Faas级协作带来网络/序列化开销召回，打分衔接数据量太大在线Latency容忍度低流程化定义主流程，部分子图逻辑并行迭代图合并部署单机合并部署跨团队大图代码级跨团队协作用户开发流量治理容器Runtime调度搜索推荐业务Serverless总结⽬目录搜索推荐中台介绍Serverless实践茶歇的双11百万级QPS峰值：算法/业务代码性能缺陷及机器缺口算法效果和资源的权衡业务不可准确预估：预估偏差巨大业务错峰性能优化的挑战：个性化代码优化的可持续性和可复用性双11⼤大促⾯面临的挑战：资源&性能以上数据均为虚构演示数据4级算法降级实验配置：L0(不降级)L1L2L3降级自动化：latency触发降级超时率触发降级性能管控：dailyrun压测管控茶歇的双11:算法全⾃自动降级茶歇的双11:多租户&流量量调度&弹性调度组合拳多租户backup机制：online/backup租户混布避免冷启动秒级流量调度机制：峰值超预期，backup租户消峰，为冷启动预留时间弹性调度：弹性扩缩容执行，backup恢复不接流茶歇的双11:智能多⽬目标弹性cpu单目标弹性的缺陷：限流-cpu增高不明显-扩容慢降级-cpu降低-缩容-降级无法恢复固定cpu目标-超时不降提水位：几家欢乐几家愁多目标机制：限流率/降级率/超时率/租户cpu使用率全局目标分场景动态水位目标优化