大规模非结构化数据的云计算技术和解决方案(4)

VersantInnovation云计算与大数据----新一代数据管理技术VersantCorporationU.S.Headquarters255ShorelineDr.Suite450,RedwoodCity,CA94065|650-232-2400极高的数据管理能力•节约超过50%的磁盘空间–不需要为JOIN准备数据复制而浪费磁盘空间–不需要为重构数据关系而建立过多的索引–不需要为性能优化而复制数据ESA StudyStorage DesignData SizeMission SizeVersantModel based node groupings3 TB50 TBRDBMulti column table structures12 TB200 TBEuropeanSpaceAgency–PlanckStudy极高的数据计算能力•节省高达50%的服务器计算能力–不需要在服务器层完成大量高CPU消耗的数据映射操作–不需要在服务器层完成大量高CPU消耗的JOIN操作*enJinisanapplicationserverbrandedpackagingofVersantIBMstudyESA的大数据挑战:Planck•大数据–捕获–分析–共享X=4329832809458930458099853Y=348328409328技术选型–复杂度▬Versant优势▬计算模型与持久模型一致（无需映射）▬支持跨数据库节点的数据引用与连接面向对象分析与设计–简化问题计算空间•面向设计组的建模•不再需要复杂的、面向计算的昂贵查询•可以使用框架来处理规模和分布性–可以使用共享数据•在大规模数据集上的分析处理技术选型–数据库规模Computational Schema Size–Big Data as previously discussed ( 200M+ per Map )Simulated Data Bolometer ExperimentsVersant优势–可以节省多达75%的磁盘空间Storage DesignData SizeMission SizeVersantModel based node groupings3 TB50 TBRDBMulti column table structures12 TB200 TBTestDescriptionVersantRDB*2.1Get a map of Nside= 2,048232.2Get the Pixel n. 1 of the Map3242.3Get the Pixel n. 10,000 of the Map3242.4Get the Pixel n. 12,000,000 of the Map3242.6Get a square area 11x11 around Pixel 6,000,0004262.7Get a square area 101x101 around Pixel 6,000,0004272.8Get a square area 1001x1001 around Pixel 6,000,00013136Test 2Large Objects Retrieval32264技术选型–分析/性能Versant在分析上有10倍的性能提升技术选型–数据创建TestDescriptionVersantRDB4.2Create 100 Pointingswith 200 Rings associated100 Pointings–36*100 –3,600 bytes20,000 Rings –16*20,000 –320,000 bytes200,000 float arrays –36,008*20,000 –720,160,000 bytes8746,9234.3Create 100 Pointingswith 400 Rings associated100 Pointings–36*100 –3,600 bytes40,000 Rings –16*40,000 –640,000 bytes400,000 float arrays –36,008*40,000 –1,440,320,000 bytes1,65317,3894.5Create 500 Pointingswith 100 Rings associated500 Pointings–36*500 –18,000 bytes50,000 Rings –16*50,000 –800,000 bytes50,000 float arrays –36,008*50,000 –1,800,400,000 bytes2,16729,7484.6Create 500 Pointingswith 200 Rings associated500 Pointings–36*500 –18,000 bytes100,000 Rings –16*100,000 –1,600,000 bytes100,000 float arrays –36,008*100,000 –3,600,800,000 bytes4,248n/a4.7Create 500 Pointingswith 400 Rings associated500 Pointings–36*500 –18,000 bytes200,000 Rings –16*100,000 –3,200,000 bytes200,000 float arrays –36008*200,000 –7,201,600,000 bytes8,734n/a4.10Create indexes for Pointings(ID) and Rings (KEY)1818Test 4Small Objects Creation18249n/a产品信息开发者资源注册用户论坛咨询和培训资源