HDFS并发性能测试

HDFS性能HDFS读性能单线程文件大小所花时间描述1K1289ms（毫秒）10K40ms（毫秒）100K242ms（毫秒）1M3274ms（毫秒）10M17083ms（毫秒）100M165257ms（毫秒）200M339368ms（毫秒）300M501479ms（毫秒）400M796620ms（毫秒）500M800063ms（毫秒）1G1687307ms（毫秒）HDFS写性能单线程文件大小所花时间描述1K900ms（毫秒）10K1401ms（毫秒）100K248ms（毫秒）1M1840ms（毫秒）10M15737ms（毫秒）100M146687ms（毫秒）200M328319ms（毫秒）300M434366（毫秒）400M788428（毫秒）500M898739（毫秒）15分钟实时写性能非常的差1G1978137（毫秒）32分钟实时写性能非常的差没有用多线程的方式继续测试了的，单线程的读写能力已经成了一坨了的。FastDFS性能FastDFS读性能单线程文件大小所花时间描述1K10（毫秒）10K1（毫秒）100K1（毫秒）1M3（毫秒）10M33（毫秒）100M357（毫秒）200M977（毫秒）300M1115（毫秒）400M3415（毫秒）500M6543（毫秒）1G12012（毫秒）10线程文件大小所花时间描述1K13（毫秒）10K13（毫秒）100K15（毫秒）1M16（毫秒）10M43（毫秒）100M557（毫秒）200M1201（毫秒）300M1515（毫秒）400M1745（毫秒）500M1892（毫秒）1G14352（毫秒）50线程文件大小所花时间描述1K14（毫秒）10K16（毫秒）100K18（毫秒）1M67（毫秒）10M89（毫秒）100M924（毫秒）200M2547（毫秒）300M3687（毫秒）400M5478（毫秒）500M11005（毫秒）1G38798（毫秒）FastDFS写性能单线程文件大小所花时间描述1K10（毫秒）10K1（毫秒）100K（毫秒）1M2（毫秒）10M13（毫秒）100M833（毫秒）200M3544（毫秒）300M5519（毫秒）400M7096（毫秒）500M8543（毫秒）1G18786（毫秒）10线程文件大小所花时间描述1K（10线程并发写）70（毫秒）10K（10线程并发写）5（毫秒）100K（10线程并发写）6（毫秒）1M（10线程并发写）72（毫秒）10M（10线程并发写）900（毫秒）100M（10线程并发写）14012（毫秒）200M（10线程并发写）45301（毫秒）300M（10线程并发写）39043（毫秒）400M（10线程并发写）52978（毫秒）500M（10线程并发写）66288（毫秒）1G（10线程并发写）13725（毫秒）50线程文件大小所花时间描述1K（50线程并发写）951（毫秒）10K（50线程并发写）5（毫秒）100K（50线程并发写）32（毫秒）1M（50线程并发写）216（毫秒）10M（50线程并发写）5180（毫秒）100M（50线程并发写）55403（毫秒）200M（50线程并发写）112461（毫秒）300M（50线程并发写）166736（毫秒）400M（50线程并发写）229095（毫秒）500M（50线程并发写）285223（毫秒）1G（50线程并发写）388870（毫秒）结论带着下面的几个疑问测试了目前的2个分布式文件系统Hdfs和FastDFS.HDFS的小文件性能很差？HDFS适合做文件系统的吗？HDFS的读写性能怎么样？测试结果是：1HDFS根本不适合做分布式文件系统的解决方案，特别是对于大并发量的读写的场景。原因是HDFS的本身的定位是Hadop里面做离线计算的时候中间库的角色。为了解决这个问题很多都是转向了NetAppHadoop用磁盘阵列的方式来加速文件的读写速度。2FastDFS虽然是国产的开源软件，协议走的是socket协议，本省的性能非常的好。