您好,欢迎访问三七文档
©2016,AmazonWebServices,Inc.oritsAffiliates.Allrightsreserved.AWS广告科技行业解决方案蒙维AWS解决方案架构师2016年5月26日议程广告行业面临的典型技术挑战与AWS解决方案广告行业数据处理架构广告行业数据分析架构典型客户案例广告行业面临的典型技术挑战与AWS解决方案传统在线广告产业链的角色广告主...广告平台...媒体广告主...广告平台...媒体数据流资金流在线广告程序化交易的核心技术•需求方平台(DSP)•广告交易平台(AdExchange)•供应方平台(SSP)在线广告程序化交易的核心技术DSPAdExchangeSSP广告主或其代理广告平台媒体RTB平台挑战一:广告实时竞标(RTB)1.消费者访问媒体内容2.广告交易平台发布一个广告展现机会3.各个竞标者参与竞标4.出价最高者获得广告展现机会5.中标者广告被媒体展现100ms高性能DSP平台设计广告交易平台投标者数据库广告用户属性队列和缓冲竞标响应20ms20ms40ms竞标响应的传输基于智能分析的标的选择和合理出价应急缓冲…竞标请求竞标请求的传输20msDSP平台AWS解决方案•为广告服务器选择合适的AmazonEC2实例类型•使用高性能,低延迟的AmazonDynamoDB数据库服务。丰富的AmazonEC2实例类型t2.micro244GiBRAM32vCPU8x800GBSSD本地实例存储1GiBRAM1vCPU能够累积计算积分i2.8xlarge40种以上实例类型通用型最新T2,M,M4计算优化型C3,C4内存优化型R3存储优化型I2,D2GPU优化型G2AmazonDynamoDB•完全托管的NoSQL数据库•高度可扩展•快速稳定的性能•可以支撑任意数量的每秒并发吞吐量•没有存储空间上限•低成本DynamoDB优化–通过批量操作提高吞吐whilenotqueue.is_empty():item=queue.get(1)forendpointinendpoints:ddb=get_ddb_client(endpoint)ddb.update_item(item)queue.get(BATCH_SIZE)ddb.batch_write_items(batch)•一次操作只更新一个项目•一次操作创建或删除25个项目•25倍的吞吐能力广告交易平台投标者DB广告用户属性队列和缓冲竞标响应20ms20ms40ms竞标响应的传输基于智能分析的标的选择和合理出价应急缓冲…竞标请求竞标请求的传输20msAmazonEC2AmazonDynamoDB广告服务器广告数据库高性能DSP平台设计挑战二:处理海量请求•每日广告展现的数据量:2亿次事件请求/240GB•每日收集的用户数据:16亿次事件请求/700GB•每日的RTB请求数据:600亿次事件请求/80TBAWS解决方案•使用弹性可扩展的AmazonEC2服务器集群实现快速广告查询和用户数据收集•使用分布式的AmazonCloudFront服务实现广告内容的快速分发•使用AmazonS3服务存储海量的用户点击流数据和广告展现日志•使用AmazonKenisis实时处理用户点击流数据AmazonKinesis•实时数据采集、摄入、传输•处理实时动态数据流•并行写入写出•支持数据输出到不同存储目的地AmazonS3AmazonKinesisAmazonEMRAmazonRedshiftAmazonKinesisAmazonS3AmazonCloudFrontAmazonEC2AmazonEC2AmazonELBAmazonELBAmazonDynamoDB访客广告请求广告URL广告服务器广告数据库点击流请求点击流服务器批量数据实时处理广告内容广告展现日志静态内容海量请求处理架构广告行业数据处理架构数据处理流程数据收集部分:批处理竞价部分:速度数据收集数据存储数据分发竞价数据实时竞价AWSRegion数据收集和存储数据收集数据存储数据分发竞价数据实时竞价AvailabilityZoneAvailabilityZoneElasticLoadBalancinginstancesinstancesAutoScalinggroupAmazonS3AmazonKinesis数据复制与分发数据收集数据存储数据分发竞价数据实时竞价AWSRegionAvailabilityZoneAvailabilityZoneElasticLoadBalancinginstancesinstancesAutoScalinggroupAmazonS3AmazonKinesisApacheStormAWSRegion1AWSRegion2DynamoDBDynamoDBDynamoDB竞价数据数据收集数据存储数据分发竞价数据实时竞价AWSRegion实时竞价数据收集AvailabilityZoneAvailabilityZoneElasticLoadBalancinginstancesinstancesAutoScalinggroupAmazonS3AmazonKinesisApacheStormDynamoDBAvailabilityZoneAvailabilityZoneAutoScalinggroupElasticLoadBalancing一个典型客户的完整数据收集和处理架构DataCollectionBiddingAdNetwork2AdNetwork1AutoScalingGroupAutoScalingGroupAutoScalingGroupAutoScalingGroupAutoScalingGroupAutoScalingGroupAutoScalingGroupAutoScalingGroupAutoScalingGroupApacheStormv2V3V3v1v2V3V3v1V2V3V3V1AutoScalingGroupV3V4ElasticLoadBalancingElasticLoadBalancingElasticLoadBalancingElasticLoadBalancingDynamoDBWriteReadReadReadReadReadReadWriteWritesWriteWriteReadV3`ElasticLoadBalancingElasticLoadBalancingElasticLoadBalancingElasticLoadBalancingElasticLoadBalancingElasticLoadBalancingDynamoDBDataCollectionBiddingDynamoDBWriteReadReadWriteWriteWriteAmazonS3AmazonKinesis广告行业数据分析架构数据分析相关的AWS服务AmazonRedshiftAmazonEMRAmazonEC2分析AWSDataPipelineAmazonGlacierAmazonDynamoDB存储AWSDirectConnect收集AmazonKinesisAmazonS3AmazonEMR•托管的Hadoop框架•集成Hadoop生态圈大量工具•与其他AWS服务高度集成•易于使用、灵活、安全AmazonEMREMR集群S31.数据导入S34.得出结果2.启动您的集群。选择:•Hadoop版本•节点数量•节点类型(hi-CPU、hi-memory等)•Hadoop应用(Hive、Pig、Hbase、Spark…)3.执行MapReduce应用程序AWSDataPipelineHDFS数据管理AmazonEMRAmazonRDSAmazonS3AmazonDynamoDBAmazonRedshift分析语言AmazonRedshift•PB级数据仓库•大规模并行处理(MPP)•关系型数据仓库(SQL)•管理简便、大幅扩容•性能优越,价格低廉更多的AmazonRedshift特性•扩展性:增大数据库的处理能力和容量•高效的表数据聚合和关联•可以连接不同类型客户端•基于列式存储的OLAP数据库引擎•基于PostgreSQL8.0.2•使用本地硬盘来提高IO性能OLTPvsOLAPAmazonRedshift架构管理节点(LeaderNode)简单的SQL接入点存储数据库元数据优化查询计划协调各个计算节点执行查询任务计算节点(ComputeNodes)本地列式数据存储并行化/分布式执行所有的查询、数据加载、备份、恢复、调整大小节点分片(NodeSlices)计算节点的分区并行化/分布式执行所有的查询、数据加载、备份、恢复、调整大小•增强网络Ingestion/BackupBackupRestoreJDBC/ODBC10GigE(HPC)选择Hadoop还是Redshift?数据仓库RedshiftHadoopEMR非结构化数据熟悉MapReduce大量数据批量处理结构化数据熟悉SQL查询更快捷广告行业数据分析典型架构AmazonS3AmazonCloudFrontAmazonEC2AmazonEC2AmazonElasticLoadBalancingAmazonElasticLoadBalancingAmazonDynamoDB访客广告请求广告URL广告服务器广告数据库点击流请求点击流服务器批量数据广告内容广告展现日志更新广告数据库用户广告请求历史记录实时竞价历史记录AmazonEMRAmazonRedshift实时数据AmazonKinesisAmazonRDS典型客户案例Mobvista•Mobvista是全球领先的移动广告平台,集团旗下业务包括覆盖全球的移动广告网络及海外发行游戏平台。•Mobvista的移动广告网络已经覆盖全球236个国家,每日展现量过百亿,在TUNE发布的全球广告主合作伙伴名单,位列全球第12名;在权威的第三方监控平台Appsflyer发布的全球安卓游戏流量综合排行榜中,排名第3。有米科技•有米科技致力于为广告主提供精准的产品推广和品牌营销服务,为应用开发者创造公正和优质的广告收益,其业务涵盖iOS和Android平台,业务覆盖范围遍布日韩、东南亚、欧美等地。•有米科技移动广告业务在全球覆盖的移动终端数量超过12亿部,业务规模以每年3~4倍的速度增长。ThankYou
本文标题:2016-Virtual-Summit-Track-2-AWS广告科技行业解决方案-Meng-Wei
链接地址:https://www.777doc.com/doc-5012131 .html