星际文件系统IPFS生态研究报告-链塔智库

2018年年6⽉月6⽇日星际⽂文件系统IPFS⽣生态研究报告链塔智库BlockData前⾔言近期币圈出现两⼤大热点，EOS和IPFS。随着超级节点竞选拉开帷幕，EOS博尽眼球，引领市场⾏行行情。⽽而IPFS相对⽽而⾔言就低调了了很多，但IPFS引领的全⺠民挖矿热情⽇日益⾼高涨。IPFS的中⽂文名是星际⽂文件系统，由JuanBenet在2014年年5⽉月份发起。2015年年，IPFS在YCombinator孵化竞赛中拿到了了巨额的投资，同时成⽴立了了协议实验室。实验室团队由14位核⼼心开发者以及社区中上百位代码贡献者组成。IPFS在2017年年8⽉月份仅仅出售了了10%的代币，就募集到2.5亿美⾦金金，这意味着IPFS还没正式上线，市值已经达到了了25亿美⾦金金。IPFS本质上是⼀一种内容可寻址、版本化，点对点超媒体的分布式存储及传输协议，有望补充甚⾄至取代过去20年年⾥里里使⽤用的超⽂文本媒体传输协议（HTTP），效率提升显著。在技术上有创新性的IPFS前景虽然看好，但是要完成替代HTTP的道路路还⽐比较⻓长。⽣生态系统IPFS挖矿机制IPFS应⽤用实例例⽬目录PART.2PART.3PART.4PART.5结语PART.6IPFS综述PART.7IPFS⼯工作机制PART.1IPFS综述⽤用户每天上⽹网使⽤用APP和浏览⽹网⻚页都是凭借着HTTP协议，它基于TCP／IP的计算机应⽤用层⾯面，从服务器器传输超⽂文本数据到本地浏览器器，本地浏览器器或APP，经过渲染再呈现给⽤用户。基于这样的⽹网络环境构成了了CS或BS架构，昀后提供给⼤大型⽹网络供应商。HTTP模式主要分为两种：第⼀一个模式属于集中化，部分企业的互联⽹网由于业务不不能分散去做，只有⼀一个中⼼心服务群，所有流量量直接搭载在这个服务群上，承载的压⼒力力极⼤大，极易易造成系统崩溃。第⼆二个模式属于分散集群，各个⽹网站需要建⽴立不不同区域下的服务群，它们背后的IDC机房会让同样的服务在⼀一个局域内分散，这就减轻了了中⼼心服务器器的压⼒力力。两种模式容易易产⽣生⼀一些弊端：在第⼀一种模式⾥里里，服务⾼高度依赖中⼼心⽹网络，⼤大公司或者创业公司⽆无法承受宕机，⼤大公司需要雇⼀一批运维专家或专业⼈人⼠士去保障系统的稳定性；在第⼆二种模式⾥里里，中⼼心化数据库⼀一旦遭受⼈人为因素或不不可抗⼒力力损害，所有数据将全部丢失。同时，这两种模式的带宽成本都⽐比较⾼高，皆会造成⼀一定带宽资源的浪费。⽽而IPFS想打造⼀一个点对点的⽹网络拓拓扑，相当于颠覆HTTP所代表的分布关系，它具有内容可寻址的特点，通过⽂文件内容⽣生成唯⼀一的哈希标识，⼀一定程度上节约了了空间开销的成本以及运维成本。IPFS中⽂文件通常不不会都存在⼀一个节点，⽽而是分⽚片存在其他⼀一些⼦子节点上。提取⽂文件时，IPFS把这些节点列列表全部并⾏行行抓取，昀后在本地拼成完整的⽂文件。并⾏行行的速度远远⼤大于直接下载完整⽂文件的速度，⽤用户很快就能在本地获得⽂文件，还可以继续分享给其他⼈人。分布式的储存⽅方式能有效解决数据丢失的⻛风险，同时减轻个体数据库的存储压⼒力力。PART.2IPFS架构分析2.1IPFS架构简述IPFS架构分为⼋八层⼦子协议栈，从上⾄至下为身份、⽹网络、路路由、交换、对象、⽂文件、命名、应⽤用，每个协议栈各司其职，⼜又互相搭配。IPFS⼋八层协议栈身份层⽹网络层路路由层交换层对象层⽂文件层命名层应⽤用层S/Kademlia⽣生成对等节点身份信息⽣生成任意传输层协议ICENET&NAT穿透分布式松散哈希表（DSHT）定位对等点和存储对象需要的信息BitTorrent&BitSwap管理理区块如何分布Merkle-DAG内容可寻址的不不可篡改、去冗余的对象链接类似Git版本控制的⽂文件系统：blob、list、tree、commit具有SFS（Self-CertifiedFilesystems）IPNS：DAG对象命名可变在IPFS上运⾏行行的应⽤用程序利利⽤用最近节点提供服务提升效率、降低成本架构解析身份层和路路由层属于捆绑性质。对等节点身份信息的⽣生成以及路路由规则是通过Kademlia协议⽣生成制定，KAD协议实质是构建了了⼀一个分布式松散Hash表，简称DHT，每个加⼊入这个DHT⽹网络的⼈人都要⽣生成⾃自⼰己的身份信息，然后才能通过这个身份信息去负责存储这个⽹网络⾥里里的资源信息和其他成员的联系信息。如果新成员需要寻找⼀一位⽼老老成员A的联系信息，⽽而他没有这位⽼老老成员A的联系⽅方式，那么他可以通过联系任意⼀一位存储⽼老老成员A联系信息的成员来获取这位⽼老老成员A的联系信息，同理理在IPFS中获取资源信息也是⼀一样的道理理。⼀一、身份层及路路由层KDA协议分布式松散Hash表新进⼊入成员身份信息储存信息由KDA协议构建DHT⽹网络身份⽣生成流程示意图新成员身份信息联系信息⽼老老成员身份信息资源信息链塔智库研究绘制信息查询流程示意图⼆二、⽹网络层⽹网络层属于IPFS架构中的核⼼心之⼀一，使⽤用的LibP2P可以⽀支持任意传输层协议。NAT技术能让内⽹网中的设备共⽤用同⼀一个外⽹网IP，家庭路路由器器使⽤用的就是这个原理理。交换层模拟了了P2P⽹网络，并创建中⼼心服务器器，当服务器器登记⽤用户请求资源时，让请求同样资源的⽤用户形成⼀一个⼩小集群Swarm，在这⾥里里分享数据。在中⼼心化的处理理⽅方式中这种⽅方式有弊端，因为服务器器是由中⼼心化的服务提供商统⼀一维护，如果出现了了故障、宕机时，下载操作⽆无法进⾏行行。三、交换层同⼀一外⽹网IP设备1NAT技术设备2设备3192.168.x192.168.y192.168.z⽤用户1⽤用户2⽤用户N某资源⼩小集群Swarm请求统⼀一资源的⽤用户在Swarm中分项数据资源请求流程示意图三、对象层及⽂文件层对象层和⽂文件层需要结合来谈，它们管理理的是IPFS上80%的数据结构，⼤大部分数据对象都是以MerkleDag[Merkledirectedacyclicgraph（默克有向⽆无环图）]的结构存在，这为内容寻址和去重提供了了便便利利。⽂文件层是⼀一个新的数据结构，和DAG并列列，采⽤用Git⼀一样的数据结构来⽀支持版本快照。四、命名层命名层具有⾃自我验证的特性【当其他⽤用户获取该对象时，使⽤用指纹公钥进⾏行行验签，即验证所⽤用的公钥是否与NodeId(节点编号）匹配，这验证了了⽤用户发布对象的真实性，同时也获取到了了可变状态】，并且加⼊入了了IPFS这个设计来使得加密后的DAG对象名可定义，增强可阅读性。ccc111bbb222ttt111ttt333ttt222lll111bbb111bbb444bbb333bbb555⽤用户某资源验证节点编号获取资源默克有向⽆无环图示意图资源获取流程示意图五、应⽤用层应⽤用层，IPFS核⼼心价值就在于其上运⾏行行的应⽤用程序，可以利利⽤用它类似CDN的功能，在成本很低的带宽下，去获得想要的数据，从⽽而提升整个应⽤用程序的效率。CDN的全称是ContentDeliveryNetwork，即内容分发⽹网络。其基本思路路是尽可能避开互联⽹网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更更快、更更稳定。通过在⽹网络各处放置节点服务器器所构成的在现有的互联⽹网基础之上的⼀一层智能虚拟⽹网络，CDN系统能够实时地根据⽹网络流量量和各节点的连接、负载状况以及到⽤用户的距离和响应时间等综合信息将⽤用户的请求重新导向离⽤用户昀近的服务节点上。其⽬目的是使⽤用户可就近取得所需内容，解决Internet⽹网络拥挤的状况，提⾼高⽤用户访问⽹网站的响应速度。源站CDN节点2CDN节点4CDN节点1CDN节点3⽤用户A⽤用户B⽤用户C⽤用户D⽤用户E⽤用户F⽤用户G⽤用户H⽤用户可就近取得所需内容CDN⽹网络内容分发⽹网络示意图⽣态系统3.1IPFS⽣生态发展进程2014年年5⽉月，JuanBenet发起IPFS项⽬目2015年年1⽉月，IPFS协议实验室成⽴立，并发布IPFS2016年年，IPFS团队创建了了libp2p、IPLD、multiformats、Orbit等模块2017年年6⽉月，IPFS已储存50亿份⽂文件2017年年7⽉月，IPFS团队宣布成⽴立Filecoin项⽬目Filecoin项⽬目预计于2018年年年年底上线的团队在开发时，采⽤用⾼高度模块集成化的⽅方式。协议实验室团队2015年年创⽴立，到17年年的这段时间⾥里里都在做IPLD、LibP2P、Multiformats这三个模块的开发，它们服务于IPFS底层。Multiformats是⼀一系列列hash加密算法和⾃自描述⽅方式（从值上就可以知道值是如何⽣生成）的集合，它具有SHA1\SHA256\SHA512\Blake3B等6种主流的加密⽅方式，⽤用以加密和描述nodeID（节点编号）以及指纹数据的⽣生成。LibP2P是IPFS的核⼼心，⾯面对各式各样的传输层协议以及复杂的⽹网络设备，它可以帮助开发者迅速建⽴立⼀一个可⽤用P2P⽹网络层，快速且节约成本。IPLD是⼀一个转换中间件，将现有的异构数据结构统⼀一成⼀一种格式，⽅方便便不不同系统之间的数据交换和互操作。现在IPLD⽀支持的数据结构，是⽐比特币、以太坊的区块数据，也⽀支持IPFS和IPLD。IPLD中间件可以把不不同的区块结构统⼀一成⼀一个标准进⾏行行传递，为开发者提供了了成功性⽐比较⾼高的标准，不不⽤用担⼼心性能、稳定和bug。Filecoin把以上这些应⽤用的数据价值化，通过类似⽐比特币的激励政策和经济模型，让更更多的⼈人去创建节点，提供服务，去让更更多的⼈人使⽤用IPFS。3.2IPFS⽣生态系统分布⽣生态系统IPFS应⽤用数据应⽤用层Libp2p传递数据路路由层、⽹网络层、交换层IPLD定义数据命名层、对象层、⽂文件层Multiformats加密、描述数据身份层价值数据⽤用户激励PART.4IPFS挖矿机制4.1IPFS挖矿背景简述IPFS系统下挖矿所得为FIL（Filecoin），Filecoin是⼀一个去中⼼心化的存储⽹网络，Filecoin有两个市场：存储市场和检索市场。这两个市场结构相同但设计不不同。存储市场上，客户付费给存储矿⼯工，令其存储数据。检索市场上，客户向检索矿⼯工付费后取回数据。这两种情况下，客户和矿⼯工都可以设置报价或接受报价。整个交易易是由⽹网络来运⾏行行—Filecoin中的所有节点构成了了拟⼈人化的⽹网络。⽹网络保证了了矿⼯工在提供服务时可以得到客户的奖励。存储的需求和供给在两个Filecoin市场进⾏行行：存储市场和检索市场。这两个市场属于去中⼼心化交易易所，简⽽而⾔言之，客户和矿⼯工们通过向各⾃自的市场提交订单来为服务定价。交易易所为