亚马逊 AWS 云计算环境中的机器学习

©2015,AmazonWebServices,Inc.oritsaffiliates.AllrightsreservedAWS云计算环境中的机器学习费良宏–首席云计算技术顾问内容•机器学习和数据生态系统•智能应用举例(包括一个反例)•AmazonMachineLearning(AmazonML)功能与优势•使用AmazonML进行开发•Q&A数据是应用基本结构的一部分前端展现和UX移动设备后端应用和操作数据分析三种数据驱动的开发类型回溯性的分析和报告AmazonRedshiftAmazonRDSAmazonS3AmazonEMR三种数据驱动的开发类型回溯性的分析和报告实时处理和仪表盘展示AmazonKinesisAmazonEC2AWSLambdaAmazonRedshift,AmazonRDSAmazonS3AmazonEMR三种数据驱动的开发类型回溯性的分析和报告实时处理和仪表盘展示用于预测的智能应用AmazonKinesisAmazonEC2AWSLambdaAmazonRedshift,AmazonRDSAmazonS3AmazonEMR机器学习和智能应用机器学习是一种技术，可以自动发现现有数据中的模式，进而对新出现的数据进行预测。机器学习和智能应用机器学习是一种技术，可以自动发现现有数据中的模式，进而对新出现的数据进行预测。你的数据+机器学习=智能应用智能应用举例基于你对一个用户的了解：这个用户会使用你的产品吗？智能应用举例基于你对一个用户的了解：这个用户会使用你的产品吗？基于你对一个交易订单的了解：这个订单会是一单欺诈交易吗？智能应用举例基于你对一个用户的了解：这个用户会使用你的产品吗？基于你对一个交易订单的了解：这个订单会是一单欺诈交易吗？基于你对一条新闻报道的了解：有那些相关的报道会令人感兴趣？还有一些其他例子…欺诈检测检测欺诈交易，过滤垃圾邮件，标记可疑的评论，…定制化内容推荐，预判性的内容加载，提升用户体验,…市场定位潜在客户和报价的匹配,市场活动的选择,交叉销售和销售提升,…内容分类文档分类,招聘经理和应聘简历的匹配,…波动分析找出可能停止使用服务的用户,找出可能从免费服务中升级的用户,…客户支持对用户邮件的路由进行预判,侦听社交网络上的媒体,…建构智能应用的一个反例亲，这个迷你四轴飞行器只要49.99美元喔!建构智能应用的一个反例SELECTc.IDFROMcustomerscLEFTJOINordersoONc.ID=o.customerGROUPBYc.IDHAVINGo.dateGETDATE()–30首先，我们可以将促销信息发给最近30天有下过单的客户建构智能应用的一个反例SELECTc.IDFROMcustomerscLEFTJOINordersoONc.ID=o.customerGROUPBYc.IDHAVINGANDo.dateGETDATE()–30…接着可以缩小范围，只选取买过玩具的客户建构智能应用的一个反例SELECTc.IDFROMcustomerscLEFTJOINordersoONc.ID=o.customerGROUPBYc.IDHAVINGo.category=‘toys’AND(COUNT(*)2ANDSUM(o.price)200ANDo.dateGETDATE()–30))…进一步定位到最近买过其他玩具直升飞机的客户建构智能应用的一个反例SELECTc.IDFROMcustomerscLEFTJOINordersoONc.ID=o.customerLEFTJOINproductspONp.ID=o.productGROUPBYc.IDHAVINGo.category=‘toys’AND((p.descriptionLIKE‘%%’ANDo.dateGETDATE()-60)OR(COUNT(*)2ANDSUM(o.price)200ANDo.dateGETDATE()–30))…不过我们还要考虑购买了四轴飞行器的客户（四轴飞行器英文quadcopter）建构智能应用的一个反例SELECTc.IDFROMcustomerscLEFTJOINordersoONc.ID=o.customerLEFTJOINproductspONp.ID=o.productGROUPBYc.IDHAVINGo.category=‘toys’AND((p.descriptionLIKE‘%copter%’ANDo.dateGETDATE()-)OR(COUNT(*)2ANDSUM(o.price)200ANDo.dateGETDATE()–30))…又或者我们需要将时间拉长一些建构智能应用的一个反例SELECTc.IDFROMcustomerscLEFTJOINordersoONc.ID=o.customerLEFTJOINproductspONp.ID=o.productGROUPBYc.IDHAVINGo.category=‘toys’AND((p.descriptionLIKE‘%copter%’ANDo.dateGETDATE()-120)OR(COUNT(*)2ANDSUM(o.price)200ANDo.dateGETDATE()–))…再修改一下查询条件建构智能应用的一个反例SELECTc.IDFROMcustomerscLEFTJOINordersoONc.ID=o.customerLEFTJOINproductspONp.ID=o.productGROUPBYc.IDHAVINGo.category=‘toys’AND((p.descriptionLIKE‘%copter%’ANDo.dateGETDATE()-120)OR(COUNT(*)2ANDSUM(o.price)ANDo.dateGETDATE()–40))…再修改一下建构智能应用的一个反例SELECTc.IDFROMcustomerscLEFTJOINordersoONc.ID=o.customerLEFTJOINproductspONp.ID=o.productGROUPBYc.IDHAVINGo.category=‘toys’AND((p.descriptionLIKE‘%copter%’ANDo.dateGETDATE()-)OR(COUNT(*)2ANDSUM(o.price)150ANDo.dateGETDATE()–40))…再修改一下建构智能应用的一个反例SELECTc.IDFROMcustomerscLEFTJOINordersoONc.ID=o.customerLEFTJOINproductspONp.ID=o.productGROUPBYc.IDHAVINGo.category=‘toys’AND((p.descriptionLIKE‘%copter%’ANDo.dateGETDATE()-)OR(COUNT(*)2ANDSUM(o.price)150ANDo.dateGETDATE()–40))使用机器学习技术从你的数据中学习你的商业规则!为什么我们没有看到大量的智能应用?1.机器学习专家非常稀缺2.掌握机器学习技术非常困难3.将数学模型转换为实际应用需要消耗大量的时间和资金目前我们面临的情况专家技术实际操作数据分析方面的科学家非常少选择很多，没有形成主流技术复杂的隐藏着错误的数据流雇用和外包的成本都很高很难使用和扩展面对客户不同的平台和API每一个选定的解决方案都需要集成众多不同方面重新发明轮子：模型生命周期管理如果说，我们有一个更好的方法…AmazonML介绍为开发人员打造的，简单易用的，托管机器学习服务基于Amazon内部系统的，健壮的，强大的机器学习技术基于你存储在云端的数据简历学习模型快速将学习模型部署到生产环境中易于使用，对开发者非常友好通过直观而强大的服务控制台来发现和建构学习模型–数据获取–模型训练,质量校验,调优–部署和管理通过全功能的API和SDK来完成模型生命周期的自动化管理–Java,Python,.NET,JavaScript,Ruby,Node.js通过AWSMobileSDK快速建构iOS，Android智能应用强大的机器学习技术基于Amazon内部众多经过实战考验的系统不仅仅是算法:–智能数据转换–输入数据的质量警告以及模型的质量警告–内置的业界最佳实践随着你的数据而增长–可以训练高达100GB的数据–可以生成数十亿的预测结果–可以通过批量预测或者实时预测的方式获得预测结果和AWS的数据生态系统完美集成可以访问S3,AmazonRedshift或者是RDSMySQL数据库中的数据预测输出保存在S3上，便于和你的数据流进行集成使用AWSIdentityandAccessManagement(IAM)强化访问控制策略完全托管的模型和预测服务端到端的服务，不需要对底层服务器进行管理预测模型一键部署可以通过程序获得模型的元数据，使数据获取流程自动化成为可能可以通过AmazonCloudWatch监控预测使用模式按使用量付费，非常便宜数据分析，模型训练和校验:$0.42/实例小时批量预测:$0.10/1000条实时预测:$0.10/1000条+每小时的容量预留费用训练模型校验和优化进行预测123使用AmazonML建构智能应用训练模型校验和优化进行预测123使用AmazonML建构智能应用-创建Datasource对象指向你的数据-查看并理解你的数据-转换数据，训练模型创建Datasource对象importbotoml=boto.connect_machinelearning()ds=ml.create_data_source_from_s3(data_source_id=’my_datasource',data_spec={'DataLocationS3':'s3://bucket/input/','DataSchemaLocationS3':'s3://bucket/input/.schema'},compute_statistics=True)查看，理解数据训练模型importbotoml=boto.connect_machinelearning()model=ml.create_ml_model(ml_model_id=’my_model',ml_model_type='REGRESSION',training_data_source_id='my_datasource')训练模型校验和优化进行预测123使用AmazonML建构智能应用-理解模型的质量-调整模型解读方式查看模型质量对模型解读方式进行调优对模型解读方式进行调优训练模型校验和优化进行预测123使用AmazonML建构智能应用-批量预测-实时预测批量预测异步的,大批量的预测生成通过服务控制台或者使API进行调用适用于批量数据处理的应用importbotoml=boto.connect_machinelearning()model=ml.create_batch_prediction(batch_prediction_id='my_batch_prediction’batch_prediction_data_source_id=’my_datasource’ml_model_id=’my_model',output_uri='s3://examplebucket/output/’)实时预测同步的,低时延的,高吞吐量的预测生成通过API或者是SDK进行调用适用于处理单个记录的交互应用importbotoml=boto.connect_machinelearning()ml.predict(ml_model_id=’my_model',predict_endpoint=’example_endpoint’,record={’key1':’value1’,’k