大数据技术在电子商务物流集成应用案例

大数据技术在电子商务物流集成中应用案例摘要：本文以亚马逊为例，结合大数据技术及电子商务行业的发展现状，分析了大数据技术手段，并通过分析亚马逊在物流集成方面对大数据技术的应用，总结电商物流集成与大数据的关系，对大数据时代电商的未来发展提出可行性建议。1大数据及电子商务发展现状1.1大数据技术及背景随着信息技术的发展，互联网、社交网络、物联网、移动互联网、云计算等相继进入人们的日常工作和生活中，全球数据信息量呈指数式爆炸增长之势。根据国际数据公司IDC发布的研究报告，预计全球数据量大约每两年翻一番，到2020年全球将达到35ZB的数据信息量，可能是2013年数据规模的44倍。由此可见，我们已进入了大数据时代。大数据有如下定义：“大数据是由于规模、复杂性、实时而导致的使之无法在一定时间内用常规软件工具对其进行获取、存储、搜索、分享、分析、可视化的数据集合。”大数据的特点可归纳为“4V”：海量（Volume）、多样（Variety）、快速（Velocity）、价值（Value）。如今数据量级别不断加大，数据类型繁多，可分为结构化数据、半结构化数据和非结构化数据，而且数据产生速度快，具有很强的时效性。数据蕴藏着很大的价值，但是其价值密度很低，我们很难从数据的海洋中找到其中有价值的数据，需要技术手段进行数据挖掘。大数据是继云计算、物联网之后IT产业又一次颠覆性的技术变革，对于企业将产生巨大的影响。如今，大数据分析已经成为行业研究的热点，大数据正在以多种方式创造着巨大的价值。市场研究公司Gartner曾预计：大数据今年将直接或间接拉动全球960亿美元的IT支出，这一数据在2013年将达到1200亿美元，2016年达到2320亿美元，2015年全球将会新增440万个IT工作岗位以支持大数据。1.2大数据背景下电子商务的发展现状在大数据时代，未来数年数据量将会呈指数爆炸。图灵奖获得者吉姆·格雷（JimGray）和IDC公司曾预测，全球数据量每18个月翻一番。例如，淘宝网每日新增的交易数据达10TB；eBay分析平台日处理数据量高达100PB，超过了美国纳斯达克交易所全天的数据处理量；亚马逊每、秒钟处理72.9笔订单。由此可见，电子商务网站的数据正是典型的大数据。电子商务经历了三个时代：（1）基于用户数的时代，此时电子商务企业通过收取会员费、广告费等方式发展客户来赚取利润；（2）基于销量的时代，电商企业通过投放广告来实现销售量的增长，以此来提升品牌影响力和企业价值；（3）基于数据的时代，电子商务公司通过对消费者的海量数据的收集、分析、整合，挖掘出商业价值，促进个性化和精确化营销的开展。全球迎来大数据时代，数据成为越来越有用的资源，电子商务企业在开发利用大数据的市场上存在着巨大的发展前景。随着大数据时代的到来，相对于传统的线下销售企业来说，爆炸性增长的数据已成为了电子商务企业非常具有优势和商业价值的资源，大数据将成为企业未来的核心竞争力。电商掌握了几乎最全面的数据信息，其中包括所有注册用户的浏览、购买消费记录，用户对商品的评价、在其平台上商家的买卖记录、产品交易量、库存量以及商家的信用信息等等。电子商务与大数据的结合，是互联网时代的必然产物，两者间也存在着互惠关系。一方面，电子商务的迅猛发展，为大数据的积累拓展了可观的空间。另一方面，大数据为电子商务的更广泛开展，提供了便利条件。从管理方法到管理思维，大数据给电子商务带来革命性的变化。基于大数据的数据分析系统，将为电子商务的管理者找到更多商机和需求。同时，数据将像普通产品一样被加工和交换。电子商务的经营和管理核心，已经从对商品的管理，转移到对商品背后数据的管理和挖掘层面，而基于大数据的数据分析将为电子商务提供发展的动力。如今，在大数据的背景下，电子商务的服务业产生了变革。例如电商可以大数据资源给用户提供个性化和精准的商品推荐；还可根据商品的购买和浏览数据进行优质产品信息的汇总；电商可以为消费者提供准确强大的信息检索服务；电商可根据消费人群的不同需求，将营销目标针对某个具体的领域，更加细化服务领域；不少互联网公司提供数据云存储服务以满足为了满足用户对数据处理、存储方面的需求。2电子商务物流集成相关技术介绍电子商务的发展需要一个完善稳定的集成平台，使得各个企业部门能够在这个环境中进行交易，尽可能地消除由于企业内部系统不同而给企业问交易带来的障碍。2.1基于EDI的电子商务集成EDI(ElectronicDatainterchange)是将业务文件按一个公认的标准从一台计算机传输到另一台计算机上去的电子传输方法。从技术上讲，EDI包括硬件与软件两大部分。硬件主要是指计算机网络。90年代之前的大多数EDI都不通过网络，而是通过租用的电脑线在专用网络上实现，这类专用的网络被称为VAN(增值网)。软件包括计算机软件和EDI标准。EDI所需要的软件主要是将用户数据库系统中的信息，翻译成EDI的标准格式以供传输交换。EDI软件主要包括转换软件、翻译软件和通信软件。除此之外还包括EDI标准。2.2基于Web的电子商务集成20世纪90年代中期后，网络迅速走向普及，逐步地从大学、科研机构走向企业和百姓家庭。其功能也已从信息共享演变为一种大众化的信息传播工具。从l991年起，商业贸易活动正式进入到互联网这个王国，因此而使电子商务成为互联网应用的最大热点。通过网络进行交易使很多中小企业启动电子商务成为可能。而Internet上的电了商冬集成大致经历了三个阶段：1）WebInteraction阶段：此阶段企业主要是在网上发布一些产品和企业信息，通过这些信息客户可以对企业的情况包括它们的产品和商业重点等有个大致的了解。2）WebTransaction阶段：在这一阶段，客户可以通过web进行一些交易，比如在Web上购物、结账等。而企业的目标就是激发客户的兴趣，吸引他们的目光到自己的网站上来消费。3）WebCollaboration阶段：第三阶段特别指的是B2B的电子商务，它的目标是帮助企业的合作伙伴完成商业过程。在这一阶段，比较重要的是企业问的协作，比如企业A可能会共享一些库存数据，或者提供一些网络服务，而这样做的目的就是方便其用户，最终更好的销售自己的产品。2.3基于XML的电子商务集成XML是一种格式固定，独立于平台的半结构化语言，用它来做企业的数据交互媒介是一个非常好的选择。利用XML可以准确的描述企业服务、商业流程等，很好地完成交易的自动化，所以，XML为网络提供了统一的数据传输媒介。基于XML的电子商务集成所要解决的问题是统一异构系统直接的数据表达，同时充分发挥XML的可扩展性，定义企业问的事务逻辑，保证系统的稳定，减少由于企业系统不一致而带来的程序上大的改动。在众多的标准中，ebXML和Bizta1k这两个的影响比较大的标准。ebXML由OASIS、UN/CEFACT、NIST、W3C等组织赞助或者参与制订，旨在取代目前使用的EDl电子商务标准，因为EDI价格昂贵，操作复杂，不利于推广。ebXML是一个规范集，这些规范共同实现了模块化电子商务框架。Bizta1k框架是微软提出的用于应用集成和电子商务的XML框架，它包括一个设计框架来实现XML大纲(Schema)和一套在应用程序问传递信息用的XML标签。它的目标是推动XML的迅速普及和应用Bizta1k框架大纲以XML形式表达企业的商业文档和消息，并在BizTa1k.Org网站注册和存档，任何个人或组织都能下载框架用以具体实现或者向网站递交XML大纲。3亚马逊在物流集成中对大数据技术应用的案例3.1公司概况亚马逊公司（Amazon），是美国最大的一家网络电子商务公司，是网络上最早开始经营电子商务的公司之一，位于华盛顿州的西雅图。亚马逊成立于1995年，一开始只经营网络的书籍销售业务，现在则扩及了范围相当广的其他产品，已成为全球商品品种最多的网上零售商和全球第二大互联网企业，在公司名下，也包括了AlexaInternet、a9、lab126、和互联网电影数据库（InternetMovieDatabase，IMDB）等子公司。亚马逊坚持走自建物流方向，将集成物流与大数据紧紧相连。在亚马逊近二十年的历史中，自建物流不但是其发展过程中的关键环节，也与大数据挖掘结合在一起，帮助亚马逊在营销方面实现更大的价值。由亚马逊强大技术支持的智能物流系统是其价值链扩张的重要部分，使其在整条产业链上建立竞争优势。亚马逊还将免费“物流免费”作为营销手段，其基础正是在于其对市场的把握和分析。在电子商务经营处于“高天滚滚寒流急”的危难时刻，亚马逊独辟蹊径，三次大胆地将免费送货作为促销手段，并且不断降低免费送货服务的门槛。薄利多销、低价竞争，以物流的代价去占领市场，招揽顾客，扩大市场份额。显然此项策略是正确的，因为抓住了问题的实质。当然这项经营策略也是有风险的。亚马逊重视物流集成系统的发展。完善的物流系统是决定电子商务生存与发展的命脉。由于亚马逊有完善、优化的物流系统作为保障，它才能将物流作为促销的手段，并有能力严格地控制物流成本和有效地进行物流过程的组织运作。3.2公司产品与物流集成服务亚马逊及其它销售商为客户提供数百万种独特的全新、翻新及二手商品，如图书、影视、音乐和游戏、数码下载、电子和电脑、家居园艺用品、玩具、婴幼儿用品、食品、服饰、鞋类和珠宝、健康和个人护理用品、体育及户外用品、玩具、汽车及工业产品等。公司依托物流集成服务，通过物流中心、桔子机器人、外部卖家和拣货流程等系列服务，提高产品市场率和顾客满意度。（1）物流中心2013年，亚马逊花费约46亿美元建设了17个物流中心，并尽其所能地从中节约每一分钱。亚马逊在美国菲尼克斯建有120万平方英尺的仓库，借助手机程序的帮助，这里的员工都可以最大程度地发挥空间利用效率，即使是1英寸的地方。尽管亚马逊去年的收入增长41%，但营业费用的增幅也高达44%，导致利润率下滑2.3个百分点，部分源于这些物流中心的庞大开支。为了扭转局势，亚马逊正在扩大产品和服务范围，以便这些巨大的仓库能够成为利润枢纽。（2）桔子机器人桔子机器人可以在货架下穿梭，还能搬运产品，加快订单履行速度。对物流中心的投资成为亚马逊2013年最大的一笔营业费用，在销售额中的占比达到9.5%，这也使得该公司的仓库总数达到69个。为了进一步推动物流业务的自动化进程，亚马逊斥资7.75亿美元收购仓库机器人制造商KivaSystems。亚马逊旗下拥有Soap.com和Diapers.com两大购物网站的Quidsi已经开始使用这种设备。使用亚马逊仓库和配送服务的第三方商家也推动了该公司的扩张。（3）外部卖家通过亚马逊出售商品的外部卖家，给该公司带来了更高的利润率。亚马逊会从第三方商家出售的商品中抽取一定的佣金，通常约10%，这部分佣金全部计入利润。如果合作伙伴选择通过亚马逊的仓库履行订单，还要交纳一定的费用。亚马逊控制了整个体验，确保消费者可以得到始终如一的高速物流服务，而且完全没有库存风险。（4）拣货流程要从仓库中取出商品，首先由一组名为“充填工”的工人把商品塞进由塑料隔开的储物格内，经过电脑的计算，这些储物格的空间效率实现了最大化。亚马逊物流配送环节中，将以最高效率往来于货架之间，并将货物依次摆放到传送带上，等待打包和配送。通过先进的仓储服务，亚马逊2013年多实现了1000万美元的销售额。3.3亚马逊的大数据技术案例分析3.3.1亚马逊的大数据业务亚马逊的业务主要包括了三大方面：电商平台，包括自有产品的电子商务、第三方卖家及对一些成员的特殊服务；KINDLE、数字内容等；云服务。以电子商务起家的亚马逊，由电子书发家，由云服务推动企业更进一步发展，以企业云平台闻名于世。由于大数据技术的日渐成熟，亚马逊慢慢变为大数据行业的排头兵。亚马逊推出过一系列大数据产品，其中包括基于Hadoop的ElasticMapReduce、DynamoDB大数据数据库以及能够与AmazonWebServices顺利协作的Redshift规模化并行数据仓储方案。3.3.2亚马逊的大数据平台开发在亚马逊