导?读
本文为IPFS系列文第4篇,详解IPFS的核心模块——Bitswap。
星际文件系统是一个旨在创建持久且分布式存储和共享文件的网络传输协议。
与传统的文件系统不同,它是一种基于内容寻址的点对点超媒体分发协议。
IPFS网络中的节点构成一个分布式文件系统网络,其中Bitswap是IPFS的核心模块,负责与网络中其他节点之间请求和发送数据块。
图1
IPFS将文件分解为称为block的数据块,这些块由内容标识符标识。?
IPFS文件内容存储在不同的节点上,每个节点存储rootblock,少量节点存储完整文件数据,大部分节点存储部分文件block。因为block分散存储在不同节点,Bitswap协议解决了从多个节点高效获取全部数据块的问题。
IPFS工具开发商Textile发布Powergate2.0版:IPFS工具开发商Textile发布基于Fielcoin和IPFS的API解决方案Powergate的2.0版本,该版本新增了许多新功能和工具,比如Dealimporting功能,同时还改进了API,新增了一套针对运营者的开发工具。...[2021/1/25 13:26:41]
图2?多节点文件存储示意图
总体架构
本文基于Bitswapv0.3.3版本进行分析。
IPFS向Bitswap获取block,Bitswap是IPFSexchange接口的具体实现,负责完成IPFS网络数据交换功能。
图3?Bitswap组件架构图
Bitswap协议内容比较繁琐,为了降低实现复杂度协议划分为block请求模块、block发送模块、会话管理模块、block提供者发现模块、网络模块等。
Bitswap模块负责接收新的消息并且提供对外数据交换接口。
session管理模块用来管理多个session,每个session管理一组文件的下载,来提高下载效率。
黑哥:IPFS/Filecoin将会带来一场以数据为生产资料的新工业革命:金色财经报道,在8月12日举办的《家里有矿 | 从投资角度解析Filecoin的价值》的直播节目中,原力区资深观察员黑哥表示,关于BTC减半后价格会上涨的说法,我认为历史上BTC减半以后价格上涨只出现了两次,由这两次减半后价格上涨推第三次减半价格上涨是没有道理的,也就是我们说的发生的次数太少采样点不足。上一次减半后价格上涨与ETH的出现由必然联系的。因为ETH的出现给整个链圈和币圈带来了持续发展的希望。而Filecoin的出现也同样给币圈和链圈带来的新的希望。
自ETH出现后到现在,整个币圈和链圈已经沉寂了5年,也积蓄了几年的压力,大家都在等下一个现象级的明星出现,现在看来这个现象级的明星就是Filecoin。PFS/Filecoin不仅服务于存储市场,同时也可以看成是区块链技术的底层应用,如果把区块链技术比喻成一栋建筑,IPFS/Filecoin的出现就扩大了这个建筑的地基,将会助推区块链技术加速发展。IPFS/Filecoin的出现就扩大了这个建筑的地基,将会助推区块链技术加速发展。[2020/8/13]
block发送模块负责管理向其它节点发送数据块。block请求模块负责管理数据块的请求。block提供者发现模块负责通过DHT网络发现网络中的数据块,通常session找不到已拥有所需block的节点时会调用此模块进行数据块发现。
协议概述
为了完成节点间block交换,Bitswap定义了通信消息及通信协议。
IPFS星际特工搭建的节点成为Filecoin最新版本重启后首个出算力节点:2020年7月24日14:30分,由币码翁区块链研究院、IPFS星际特工搭建的节点t01068成为Filecoin最新版本calibration重启后首个出算力节点,IPFS星际特工团队表示:“接下来大矿工测试及filecoin主网上线IPFS星际特工将全面备战,欢迎社会各界精英前来合作对接。[2020/7/24]
图4
Bitswap消息处理流程:
1、IPFS请求文件区块,Bitswap发送want-have消息携带CID1信息到连接的所有节点。节点根据自己是否有CID1文件块返回have或dont-have消息。
2、client向拥有CID1的节点发送want-block消息,节点返回相应的block消息。
3、当没有节点有请求的block,Bitswap广播want-have到所有的连接节点,或者通过DHT查找拥有文件区块的节点。
模块详解
▲?Bitswap模块
Bitswap模块负责接收新消息并且实现对外的数据交换接口。
GOKO平台将于7月4日上线首期IPFS云算力认购:据悉,GOKO平台将于7月4日18:00(UTC+8)开启首期IPFS云算力抢购,首期抢购价格195USDT/TB/年,约为市场价的八折。
同时,GOKO平台带来双重保障:1、2020年底FIL未上线即全额退款;2、一年内未回本即顺延不超过一年。
GOKO平台IPFS云算力依托知名矿池建立,起购门槛低至19.5USDT,可以满足不同用户的投资需求。
GOKO交易所是一个社区化治理的加密资产交易平台,公平、公正、安全可信赖,是一家社区友好型的交易所。目前GOKO交易所已获得节点资本战略投资。[2020/7/2]
当接收到新消息后,Bitswap处理流程:
1、记录有关消息的一些统计信息
2、通知发送模块wants消息,这样数据发送模块可以根据实际情况向需求节点发送响应消息。
3、通知发送模块任何收到的blocks,发送模块根据节点的需求列表可以将接收到的块发送给任何需要它们的节点
4、向SessionManager通知接收到的blocks,HAVEs和DONT_HAVEs消息,这样SessionManager可以通知消息相关的session。
Bitswap通过FacadePattern提高了模块使用的便利性,使得Bitswap子系统的用法变得简单,避免了IPFS和Bitswap的高度耦合。
金色财经独家采访 IPFS布道者董天一谈EOS漏洞:只要是代码,就可能有bug的存在:金色财经独家采访IPFS布道者董天一,IPFS布道者董天一表示:从技术层面来讲,只要是代码,就可能有bug的存在。这和项目复杂程度,写代码人员的素质,项目管理能力都有关系。而且很难避免,历史有很多类似的经典案例。例如 日本瑞穗与东京证交所当年的乌龙事件,因为bug问题导致400亿日元(按当时汇率约合人民币27亿)的损失。EOS的事情不是第一次,也不会是最后一次,区块链领域高度依赖计算机代码,以后更应该提高重视,加强工程管理能力和程序猿的编码能力。尽可能减少类似的事情。[2018/5/29]
▲?Session管理模块
session管理模块用来管理多个数据块下载session,每个session管理一组文件的下载。
当SessionManager收到新消息时,它将
1、通知BlockPresenceManager组件跟踪每个block。
2、通知对接收到的block感兴趣并想要的Sessions。
3、通知PeerManager组件收到的block,PeerManager检查是否有任何wants被发送到节点以接收已经收到的块。?如果是这样,它将向那些节点发送“CANCEL”消息,防止其它节点重复发送消息。
Session管理模块通过协调多个session的数据需求来提高数据交互的效率,避免数据块的重复请求、发送。
▲?Session模块
Session管理一组文件的下载,用来提高一组文件块,比如单个文件下载效率。当IPFS调用Bitswap时,Bitswap会创建一个新的Session并调用Session的相应方法,比如GetBlocks()获取blocks。Session会管理一个节点列表,数据获取过程只会向session中的节点获取数据,而不是所有的连接节点。当Session中的节点都没有某个block时,Bitswap才会通过DHT获取具有block的节点并加入session。
由于session刚开始没有任何节点,处于“discovery”模式。当IPFS最初从session请求block时,该session处理流程如下:
1、通知SessionInterestManager组件它感兴趣的block。
2、通知sessionWantManager组件需要的block。
3、通知PeerManager组件向连接节点发送“want-have”消息,以发现哪些节点有需要的block。
4、查询ProviderQueryManager组件以发现哪些节点具有该block。
当session收到带有“HAVE”或“block”的消息时,它将通知SessionPeerManager组件。
当session收到带有“block”的消息时,它将通知SessionInterestManager组件。
一旦session具有节点,就不再处于“discovery”模式。当IPFS请求后续block时,session将通知sessionWantSender组件。sessionWantSender组件通知PeerManager组件向会话中的节点发送“want-have”和“want-block”消息。
对于session所需的每个block,sessionWantSender组件通过与BlockPresenceManager组件核对哪些节点已为该block发送了“HAVE”,来确定哪个节点最有可能拥有该block。如果多个节点发送过“HAVE”,则会根据先前请求回复速度来选择节点。
由于DHT内容发现速度慢并且网络带宽消耗大,session通过向一组含有目标数据块可能性大的节点获取数据,从而大大提高了数据块获取的效率。
▲?Block发送模块
block发送模块负责管理向其它节点发送数据块,包含节点需求管理组件和消息发送任务队列。
Engine是block发送模块的处理类,当Engine被告知有新的wants时
1、将want添加到Ledger,Ledger会存储每个节点的需求列表。
2、检查blockstore中的相应block,并将任务添加到PeerTaskQueue组件。如果block库没有想要的block,则添加“DONT_HAVE”任务;如果blockstore有block,对于“want-have”添加了“HAVE”任务,对于“want-block”添加了“block”任务。
3、当Engine收到新block的消息时,它会检查Ledger以查看是否有节点需要此block。对于发送“want-have”的每个节点向PeerTaskQueue组件添加一个?“HAVE”任务,对于为发送了“want-block”的每个节点,向PeerTaskQueue组件添加一个“block”任务。
4、Engine会定期从PeerTaskQueue组件中取出任务,并创建带有“blocks”,“HAVEs”和“DONT_HAVEs”的消息。
PeerTaskQueue组件通过对任务进行优先级排序,发送队列中数据量最少的节点方具有最高优先级,通过这种流控措施,提高数据块发送处理效率。
▲?数据块请求模块
Block请求模块负责管理数据块的请求。PeerManager组件为连接到Bitswap的每个节点创建一个MessageQueue组件,记录了“want-have”?、“want-block”已发送到哪个节点,并将任何新的wants定向到正确的节点。并且MessageQueue组件通过合并多个want为一条消息,然后将该消息发送给节点,从而提高了消息发送效率。
▲?内容发现模块
当Bitswap找不到已拥有所需block的节点时,它会使用DHT进行内容发现。Bitswap通过ProviderQueryManager组件管理这些请求,ProviderQueryManager组件对请求进行速率限制,并对进行中的请求进行重复删除处理。
总结
Bitswap作为IPFS网络数据交换接口的具体实现,设计并实现了一套高效的节点间交换数据的协议。
协议主要关注点是如何快速、高效获取需要的block,其中包括节点选择策略,如何最大化利用每个节点的能力。
Bitswap通过FacadePattern提高了模块使用的便利性,在具体实现上解耦复杂依赖到各功能模块,从而降低系统实现的复杂度。
作者简介
马耀耀来自数据网格实验室BitXMesh团队研究方向:P2P网络、数据安全传输
参考资料
https://github.com/ipfs/go-bitswap/blob/master/docs/how-bitswap-works.md
https://github.com/ipfs/specs/blob/master/BITSWAP.md
郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。