广告科技解决方案-2015AWS在线技术峰会-分会场2-主题一

基于AWS云服务的在线广告平台架构代闻AWS解决方案架构师[e-mail]下载文档并点击左侧按钮联系AWS云计算专家下载文档并点击左侧按钮联系AWS云计算专家100毫秒最大延迟最低延迟可达5ms以下每天600亿请求每天150TB数据全球范围每秒超过100万请求1000亿条数据下载文档并点击左侧按钮联系AWS云计算专家Over20,000customersinover150countries.WithourinfrastructureinAmazonAWS,...WejustopenedourbusinessinJapananditonlytakesusafewminutestobootstrapourinfrastructureandstartservingthatregionoftheworldwiththerequiredlowlatency.ValentinoVolonghiAdRollCTO下载文档并点击左侧按钮联系AWS云计算专家日程•需求与方案概览•数据处理架构•大数据分析架构•部署与运维建议下载文档并点击左侧按钮联系AWS云计算专家广告主...广告平台...媒体在线广告产业链的角色角色持有需求广告主(Advertiser)资金宣传和推广媒体(Publisher)广告空间和受众盈利广告平台(Ad-Network)广告平台基础架构盈利消费者(Consumer)N/A免费内容和产品折扣广告主...广告平台...媒体数据流资金流下载文档并点击左侧按钮联系AWS云计算专家在线广告平台典型需求•数据管理•实时竞价(RTB)•访客找回(Retargeting)•归因分析•广告效果衡量下载文档并点击左侧按钮联系AWS云计算专家数据收集部分:批处理竞价部分:速度数据处理流程数据收集数据存储数据分发竞价数据实时竞价下载文档并点击左侧按钮联系AWS云计算专家在线广告平台典型架构数据处理架构下载文档并点击左侧按钮联系AWS云计算专家数据收集和存储AWSRegionAvailabilityZoneAvailabilityZoneElasticLoadBalancinginstancesinstancesAutoScalinggroupAmazonS3AmazonKinesis数据收集数据存储数据分发竞价数据实时竞价下载文档并点击左侧按钮联系AWS云计算专家数据复制与分发AWSRegionAvailabilityZoneAvailabilityZoneElasticLoadBalancinginstancesinstancesAutoScalinggroupAmazonS3AmazonKinesisRealTimeReplicationClusterDynamoDBRemoteRegion1RemoteRegion2DynamoDBDynamoDB数据收集数据存储数据分发竞价数据实时竞价下载文档并点击左侧按钮联系AWS云计算专家DynamoDB表的设计HashKeyValueKey{‘segments’:set([‘123’,‘345’]),‘timestamp’:‘1234556’,‘leads’:‘to-write-contention’}HashKeyRangeKeyValue(justasingletimestamp)KeySegment1234554343254KeySegment11231231433235Improve下载文档并点击左侧按钮联系AWS云计算专家DynamoDB优化–通过批量操作提高吞吐queue.get(1)ddb.update_item(item)queue.get(BATCH_SIZE)ddb.batch_write_items(batch)•1Operation-1Item•Lowthroughputperbox•1Operation-25Items•25xhigherthroughput下载文档并点击左侧按钮联系AWS云计算专家实时竞价数据收集实时竞价AWSregionAvailabilityZoneAvailabilityZoneElasticLoadBalancinginstancesinstancesAutoScalinggroupAmazonS3AmazonKinesisApacheStormDynamoDBAvailabilityZoneAvailabilityZoneAutoScalinggroupElasticLoadBalancing数据收集数据存储数据分发竞价数据实时竞价大数据分析架构下载文档并点击左侧按钮联系AWS云计算专家FrequencyAttributionOverlapAd-hoc在线广告平台典型分析需求下载文档并点击左侧按钮联系AWS云计算专家AmazonRedshiftAmazonEMRAmazonEC2分析AWSDataPipelineAmazonGlacierAmazonDynamoDB存储AWSDirectConnect收集AmazonKinesisAmazonS3大数据分析相关的AWS服务下载文档并点击左侧按钮联系AWS云计算专家典型架构下载文档并点击左侧按钮联系AWS云计算专家HadooporRedshift?数据仓库RedshiftHadoopEMR非结构化数据熟悉MapReduce大量数据批量处理结构化数据熟悉SQL查询更快捷下载文档并点击左侧按钮联系AWS云计算专家Redshift架构•Leader节点–SQLendpoint,JDBC/ODBC–存储元数据(metadata)–协调查询执行•Compute节点–本地，列存储–并行执行查询–通过S3进行Load,backup,restore–从DynamoDB或SSH来Load数据•两种硬件平台–针对数据处理优化–DS2:HDD;scalefrom2TBto2PB–DC1:SSD;scalefrom160GBto326TB10GigE(HPC)IngestionBackupRestoreJDBC/ODBC下载文档并点击左侧按钮联系AWS云计算专家Redshift的特点–针对在线广告平台•大数据–160GB–2PB–AccesstoS3–Oneclustervsmultipleclusters•成本可控–$1000/TB/year–Flexibilitytokeepdataonline/offline•时间可控–MPPcolumnar–SSD–Approximatefunctions部署与运维建议下载文档并点击左侧按钮联系AWS云计算专家部署与运维建议•蓝绿部署–Route53+ELB实现更加灵活的部署和切换•跨区域(Cross-Region)AMI–AWSCLI,pakcer.io等•使用ASG标签(Tags)–Version、Exchange、Application等•自动化部署脚本–Python、AWSCLI等•AWSDevOps服务–Opsworks、CodeDeploy、Cloudformation等下载文档并点击左侧按钮联系AWS云计算专家部署与运维建议•无状态服务–通过服务标签而不是主机名来管理计算资源–实例健康状态检测（CloudWatch/ELB/Agent）•部署读缓存–处理突发的读请求–写请求的突发量相对较低下载文档并点击左侧按钮联系AWS云计算专家中国用户案例分享下载文档并点击左侧按钮联系AWS云计算专家Mobvista是全球领先的移动广告平台，集团旗下业务包括覆盖全球的移动广告网络及海外发行游戏平台。Mobvista的移动广告网络已经覆盖全球236个国家，每日展现量过百亿，在TUNE发布的全球广告主合作伙伴名单，位列全球第12名；在权威的第三方监控平台Appsflyer发布的全球安卓游戏流量综合排行榜中，排名第三。