从2008年11月中本聪发表论文「Bitcoin:APeer-to-PeerElectronicCashSystem」算起,比特币即将迎来第一个十周年。这十年中,比特币与其背后的区块链技术蓬勃发展,以去中心化技术之名,大有变革整个在线数字世界的气势和雄心。
不过,雄心归雄心,正蓬勃发展的区块链技术,尤其是公链领域,有一个瓶颈却一直有待突破:以当今数字世界的规模和体量,任何一个在线系统,如果没有一个大容量、高吞吐的基础设施,就无法承载哪怕仅仅一个互联网级别的应用。
很可惜,中本聪的论文中完全没有考虑到这个问题,也许是走出这第一步实属不易,他也没想太多之后的事情,也许是这样的一个高性能的设计,在彻底去中心化的系统中难度太大。总之,近10年过去了,为了提高区块链系统的性能,前赴后继出现了大把项目,但到今天为止,并没有出现能够承载互联网级别应用的解决方案。
这是一个世界性的难题,全世界最聪明的学者、开发者都在尝试解决这个问题。我曾在微软工作多年,担任微软研究院主管研究员,很长一段时间专注于分布式系统方面的研究;离开微软之后,我又在创新工场担任负责区块链和人工智能投资方向的执行董事。多年在分布式系统方面的研究心得,以及在区块链投资领域评估多个公链项目的经验,让我深深明白,在彻底去中心化的系统中实现高性能设计,是一项难度极高、极具挑战的工作。
我看到行业内存在大量对于区块链公链性能瓶颈及解决方法的讨论,有些充满洞见,令人受益匪浅,但也有不少谬误,更有很多为了自身项目宣传而编造的似是而非的见解,颇有把讨论引入歧途的风险。在和多位该行业顶尖的学者、开发人员、投资人多次深入交流之后,他们都鼓励我把自己的看法分享出来。再三思索之后,我决定把自己对该话题的一些拙见记录下来,这样既可以让自己的一些思考能够沉淀,同时,也希望能和对该话题感兴趣的更多同仁进行一些探讨。
1不要只关注性能瓶颈,而忽略了容量瓶颈
先说一下我的一个结论:在当前以类金融为主流应用场景的情形下,区块链系统最首要的性能瓶颈是区块数据的广播延迟造成的,本质上受限于互联网的带宽和通讯延迟,这一点直接制约了吞吐量(TPS)。只要是「ChainofBlocks」的系统,无论具体采用了什么共识算法,无论是工作量证明、权益证明、拜占庭容错,还是委托权益证明,在出下一个区块之前,都需要保证前一个区块在全网有一定的同步率,从而约束了每个区块不能太大,出块频率也不能太高,然后,这个问题无解。
动态 | 兰州大学与兰州环境能源交易中心共同组建“环保区块链联合实验室”:金色财经报道,11月26日,兰州大学与兰州环境能源交易中心共同组建的“环保区块链联合实验室”揭牌仪式暨数字科技赋能绿色发展研讨会在兰州环境能源交易中心举行。揭牌仪式上,兰州大学与兰州环境能源交易中心签署了《环保区块链联合实验室合作协议》。“环保区块链联合实验室”以环保区块链前沿技术和关键共性技术研发和应用为核心,打造集学科建设-人才培养-技术研发-成果转化为一体的科技创新平台。同时将以兰州大学相关学院及航天云网、中钞区块链技术研究院等相关机构为技术支撑,依托兰州环境能源交易中心要素交易市场进行市场化运营,将区块链技术创新运用于环境监管、绿色金融及生态保护等领域,更好地服务于国家和地方经济社会发展。[2019/11/27]
请注意,这里说的区块链系统特指「ChainofBlocks」的系统,其特征是要保证系统能最终收敛到一条单一的链表结构,并只有这条链上面的区块才是被确认的,反例是「GraphofBlocks」系统,例如所采用的DAG结构IOTA。
假设物理网络的带宽和延迟可以被忽略,例如基于数据中心高速链路的EOS,系统第二个瓶颈是受限的账簿容量,本质上受限于单台全节点的内存容量,这一点直接制约了链上可以承载多少个用户以及多少个DApp。无论具体采用了什么共识算法,只要交易验证/执行过程随时可能涉及到任何一个用户,那么单台全节点就必须随时保持全网每一个用户、每一个DApp相关的状态在内存里面,以供交易验证实时访问。当前所有主流的「ChainofBlocks」的系统,包括比特币区块链、以太坊、EOS等,都有这个问题,并且同样的,这个问题也是无解的。多级缓存的数据库技术(例如RocksDB)可以稍微改善一下这个限制,使得只有活跃用户受到内存限制,而总用户基数受限于硬盘的容量。但是这并不从根本上解决问题。
「容量」这个问题的关注度远远少于吞吐量,原因很简单:因为吞吐量这个短板还没解决,所以容量问题被掩盖住了。请记住,一旦吞吐量实现了大幅提升,容量问题马上就会出现:在一个高吞吐的系统上,如果用户量上不去,很可能高性能根本跑不满。
声音 | 姜惠琴:政务服务管理局正开发多端协同平台,利用区块链等技术提升网办深度和便利度:10月22日至25日,北京集中开展政务开放日活动,北京市顺义区政务服务管理局局长姜惠琴表示,目前政务服务管理局正在开发手机、电脑、自助机等多端协同平台,利用人脸识别、区块链等技术进一步提升网办深度和便利度。预计今年年底就可以实现50个主题事项在手机端、窗口端的一表式受理,2020年底将实现近1300个行政审批项目“网上通办”。(新京报)[2019/10/23]
一个典型的例子是EOS。当EOS以丧失去中心化特性为代价而解决了吞吐量问题之后,容量的问题马上就凸显出来了。然后,EOS把账簿容量瓶颈这个问题包装成了一个稀缺资源,并将其代币化,成了EOSRAM虚拟币。当然除了内存,单台全节点CPU也会成为容量的瓶颈,所以也被代币化,成了EOSCPU虚拟币。不过,在类金融应用场景中,通常计算复杂度非常低,所以,内存会是主要瓶颈。
另外,我的另外一个观点是:共识算法其实帮不了解决性能和容量的瓶颈,试图从标新立异的共识算法出发,提升「ChainofBlocks」系统性能的努力,基本上不会让系统性能有实质上的大幅提升。总之,解决上面所提及的两个瓶颈问题,需要的是分布式系统设计上的巧思妙想,这和共识算法相关,也和密码学相关,但是本质的出发点不是共识算法和密码学。
2性能瓶颈:一个出块节点在做什么
首先出块节点也是全节点,接受全网的已确认区块以及未确认交易,并构造成链,不断维护账簿的最新状态,然后抓紧机会试图在链尾追加新的区块。无论采用哪种共识算法,都会历经以下几个步骤:
-第一个步骤,根据账簿的最新状态,在未确认交易集合中选出若干验证合法的交易,然后构造一个新的区块;
-第二个步骤,为这个新的区块,参与出块的权力的竞争或者候选,在这个阶段,大概率会因为账簿状态更新了(其他节点成功出块了)而中断,回到第一步;
-第三个步骤,获得出块的权力之后,向全网广播这个新的区块,更新账簿状态,回到第一步。
不同的共识算法,其核心差异在于如何完成其中的第二个步骤的出块权的竞争或者候选。但是无论哪种共识算法,都有一个不可调和的性能矛盾,本质上由区块数据的广播延迟导致。这个矛盾使得如果每次出块比较大(可以包含更多的交易),就必须有比较长的出块间隔,以保障该区块在下一次出块之前,在全网被充分传播。
动态 | 北航教授蔡维德对2019年区块链技术发展做出七大预测:北航教授蔡维德对2019区块链技术发展做出七大预测: 一、2015年初预测联盟链会是主流,2019年联盟链会加速发展。 二、2015年在北航和国防科大(长沙)演讲预测计算法学会非常重要, 在2019年法律科技会加速发展。 三、2018年根据欧洲、日本、加拿大央行的报告,2019年预测PFMI会改变区块链的设计和方向。 四、2019年预测区块链产业沙盒会在多国多地开花。 五、2019年预测世界包括中国会有大型区块链计划出现。 六、2019年STO在国外会流行。 七、2019年区块链互联网开始研发,这个新网络在3年到4年以后会出现。[2019/1/3]
如果传播不充分,在PoW和PoS系统中,将表现为较高的分叉率,而在BFT系统中则表现为较高的失败率。
2.1Proof-of-Work和Proof-of-Stake
PoW通过设定一个HashTarget,要求Hash值必须小于一个特定的值。而Hash值必须根据新区块数据拼合一个Nonce数据计算而得。找到满足HashTarget对应Nonce的任何一个节点,便获得了出块的权力。由于只能通过随机穷举的方式找Nonce,所以这个竞争就转换成了计算Hash的算力的竞争。PoS是PoW的一个变种,引入了消耗CoinAge来增大HashTarget的机制,使得出块权力的竞争可以部分地被数字货币持有的时间和数量所代替。
可以看到,PoW机制最大的好处是用一个简洁的算法,实现了完全非许可的出块权随机指定,竞争节点之间完全不需要协同和通讯,可以轻松支持任意数量的出块节点共同竞争,具有极佳的去中心特性。也正是由于这一点,这个算法导致了区块广播延迟和出块间隔之间的矛盾。当出块间隔较短时,一个新的区块尚未充分全网广播之前,就有另一个矿工在同样的高度出了另一个新的区块,即发生了所谓的分叉(Fork)。这种情况下,最终其中一个区块会被抛弃掉(ophaned)。发生这种情况的概率不能太高,否则会显著降低原为51%的算力攻击基准(SelfishMining),极端情况甚至会导致分叉始终无法到达稳定收敛。
动态 | 河北省政府出台《意见》:充分运用区块链等技术完善政务服务技术支撑体系:据中国雄安官网消息,近日,河北省人民政府发布《关于进一步加强全省一体化在线政务服务平台建设的实施意见》,意见指出,要勇于探索创新,解放思想,敢于突破,充分运用云计算、大数据、区块链等新技术、新应用,创新完善政务服务技术支撑体系,以技术创新推动业务重组和流程再造,破除体制机制障碍,实现互联网与政务服务深度融合,为企业和群众提供更加便利高效的网上政务服务。[2018/10/12]
区块广播延迟主要由区块大小和全网各个节点间的带宽决定。当前的互联网环境,大致需要10秒可以广播到90%以上的节点。所以在比特币网络中,10分钟左右的出块间隔使得区块分叉的概率极其低。2018年整个上半年,仅出现两次分叉。而在以太坊网络中,15秒左右的出块间隔使得区块分叉的概率始终保持在10%左右,即使其区块远小于比特币的区块。要注意一点,PoW的出块间隔是统计意义上的,实际情况是出块间隔时大时小,而统计期望是10分钟。这个并不是全网算力波动造成的,而是因为搜索Nonce的过程是个随机刺探过程(撞大运),所以很多矿池都给出了自身的运气值曲线,(笑...)。
对于比特币网络来说,10分钟的出块间隔其实在现今的互联网环境中是有很大保留的,要知道,毕竟这是在10年前提出的方案,这使得扩大区块大小就可以实现简单的扩容方案,但是由于区块广播延迟这一根本矛盾的存在,这种提升只在一定程度上有效。
另外,值得提一下GHOST协议。该协议给出了一个新的准则来判定分叉的时候,哪个叉是被接受的。其将中本聪最初提出的最长链原则,改成了包含算力最多的子树。两个准则在分叉概率很低的时候是完全等价的,但是当概率比较高的时候(比如ETH的10%分叉率),GHOST协议可以规避SelfishMining,提高安全性。但是无论采用GHOST协议与否,对公链的性能无实质帮助。
PoW带来算力竞争,即所谓的挖矿,确实消耗了大量能源。不过这也为PoW系统发行的每一个币奠定了一个基础成本,使之价值有个底线。需要指出的是,PoW的算力和区块链系统的性能没有任何联系,任何加速hash算法的软件或者硬件都不会提高区块链系统单位时间的吞吐量。这就是为什么比特币区块链的全网hash算力提高了万亿倍,但是其吞吐量一直是7TPS左右。
深企联合南开大学设立国内首个区块链研究中心:2018年2月10日,深圳宝德投资控股集团公司与天津南开大学签订合作协议,校企共同设立国内首个区块链研究中心,助力互联网融合发展,致力突破多行业技术壁垒。南开大学党委副书记李义丹表示,区块链对各行业的重塑大潮势不可挡,区块链通过底层技术实现行业模式的改变,打破了原有行业依赖中心化的“囚徒困境”,去中心化、可信任价值传递,无疑会迅速改变我们的商业模式和行为习惯,在技术研究和商业领域有广阔的发展空间。[2018/2/11]
另外,任何宣称节省挖矿能源的公开技术,都是不可能在实际上减少能源消耗的。因为投入挖矿的能源总量在一个个矿场建立的时候已经确定,当有更高能效的挖矿技术或者设备出现时,算力竞争将导致所有矿工都应用新的技术,最终哄抬了全网的挖矿难度罢了。所以实际的总能源消耗,在宏观上,只和币价、电价以及数字货币的投资信心相关,和挖矿效率无关。
2.2拜占庭容错
拜占庭容错类共识算法采用随机算法确定每一次出块的节点,根据账簿上的数字货币地址,而不是IP地址。所有参与出块候选的节点无须竞争。新的区块将被委员会(一组验证者)所有成员验证并签名(投票),然后广播全网,继而开始下一个出块的流程。
与PoW不同的是,BFT出块候选是一个协作的过程,期间至少涉及O(n^2)的通讯复杂度,而PoW在出块竞争过程中无须任何通讯代价。基于BFT的协作过程将不会导致分叉,也不需要消耗稀缺资源(算力或者CoinAge),但是由于这个协作的过程涉及到相当多的数据通讯,所以这个过程无法在全网候选,验证并签名的过程无法在全网展开。这就是为什么BFT类算法一定会涉及到一个委员会的构建过程,并且验证签名只在一个小范围里面发生,剩下的人相信他们就好了。最近出现的很多基于BFT的公链项目,比如Algorand,在如何安全公平的选出这个委员会方面做了很多工作,虽然这些工作对系统性能的提升没有直接关系。
BFT类算法的投票通常是有权重的,以规避女巫攻击(SybilAttack)。而这个权重多与参与者的权益相关,和PoS的精神类似,进而现在很多人将BFT的这类投票算法称为了PoS算法。而事实上,BFT类共识算法和一开始提出的PoS算法(例如Peercoin)是本质不同的机制。
上面我们提到,不同的BFT类算法其具体选定出块节点以及委员会成员的过程和系统的性能关系不大。和PoW/PoS类似,其吞吐性能同样决定于每次出块的大小,以及出块的周期。在BFT系统中,如果想要允许每次出块比较大,就需要出块的周期也比较大,从而大概率保证新出的块及其委员会的签名数据在委员会内部完全传播。如果这个传播不充分,将可能导致委员会成员无法达成2/3以上的投票,进而使得委员会内部验证并签名过程超时,最终在本出块的周期内出块失败。
理论上说,委员会的规模远小于全网,BFT类算法中的广播延迟会比同等规模的PoW/PoS网络小。事实上也确实如此,但是基于Gossip协议的广播延迟和网络规模的对数成正比而不是线性,所以广播延迟并没有小很多。加之BFT类算法依赖一些额外的周期性全局同步等安全措施,使得实际效果中,BFT类算法并没有比PoW/PoS系统有太多性能优势。
2.3小结
PoW/PoS系统每个出块周期需要充分传播一个区块(例如1MB),BFT类系统每个出块周期也需要充分传播一个区块,加上所有委员会成员的签名(例如128个成员节点,至少每人84*128B,总共1.3MB的样子)。但是PoW/PoS系统的广播范围是全网(例如几万个节点),而BFT系统的范围限于委员会成员,这一点使得后者充分传播的时间较短一些。
不过,基于Gossip协议实现充分传播的时间,和传播的数据量呈线性关系,和传播的节点数量呈对数关系,所以BFT在传播时延上也没有太大的优势。结果就是,无论哪种算法,都有不可调和的区块大小和出块间隔之间的矛盾,从而无法大幅提升性能。
3.容量瓶颈:一个不出块全节点在做什么
单链的「ChainofBlocks」的系统中,大致有三种角色的节点:出块的全节点,不出块的全节点和轻量节点。全节点无论出块与否,都会验证并接力广播新的区块和未确认交易,这里的广播工作占据了主要的通讯量以及磁盘I/O的负荷,对于TPS只有十几的以太坊(geth)来说,这个通讯量约为1.5Mbps。
为了可以实时完成对新区块和未确认交易的验证,所有用户的账簿以及所有智能合约状态都需要驻留在内存中,这个占据了主要的内存开销,当前规模的以太坊会占用将近4GB的内存。每一个全节点都会需要承担这样的一个负荷,如果要出块(PoW的挖矿节点或者PoS的验证节点)还需要做额外的事情。这些负荷的代价,换来的是安全的彻底去中心化,任何一个全节点不需要预先信任任何其他节点,任何全节点也没有能力去其他全节点。
普通全节点的价值体现在两个方面:接力广播合法的数据和维护全网账簿的最新状态以供用户或者轻量节点查询。例如手机钱包这样的轻量节点不验证也不接力广播区块数据或者未确认交易,它依赖并信任预先设定好的一个或者多个全节点,通过这些全节点来获取特定用户的状态,例如账户余额,以及发起转账交易。轻量节点自身完全没有验证信息真伪的能力,更像是区块链世界里的一个终端而已。
对于单链的「ChainofBlocks」的系统,如果系统的吞吐量(TPS)提升100倍,需要150Mbps的通讯量;或者用户规模都扩大100倍,需要400GB的内存,那么基本上大部分互联网上的普通服务器都无法顺利部署一个全节点了。全节点的参与门槛,是影响区块链系统去中心化程度重要因素。如果全节点只能由专业矿场操作,普通人无法独立部署一个全节点的话,那么整个系统就会退化成一个多地部署的中心化云服务了,而变得容易被攻击,也容易被封禁。所以,这两个瓶颈不仅仅对于出块节点需要解决,对于普通全节点也需要解决。
4.出路
前面已经说到性能瓶颈和容量瓶颈,在现在单链的「ChainofBlocks」的系统中,很难有大的提升,尤其是容量瓶颈。这就是所谓的区块链不可能三角的由来。纵观计算机技术发展史,大容量高吞吐的设计范式,屡获大规模成功的只有一个,横向扩展(Scale-Out)。
举个例子,GPU用了几千个性能普通的Core一起并行工作,实现超越CPU计算性能几个数量级的性能提升,而GPU所依赖的半导体技术并没有和CPU芯片有什么本质的不同。再如,现今的在线云服务系统,是用几千甚至上万台性能普通的服务器一起并行工作,来支持大容量高吞吐的在线服务。
我在这里不妨大胆设想:也许一个大容量高吞吐的区块链系统会是类似的方案,即,让成千上万个同质的单链实例一起并行工作,切分全网的工作量,以实现整体上的大容量和高吞吐。
这样的一个系统,可以在大幅提高TPS的同时,支持10亿以上级别的用户量,并且保持每一个参与到这个网络的中的全节点仅有一个合理的负荷,让大部分互联网上的普通服务器都可以轻松部署一个全节点,共同参与网络的维护和治理。
不过,在这样一个彻底去中心化的设定下,如何一起并行工作,如何切分工作量,又如何保证每个单链实例的安全,都是极具挑战的问题。这样的系统似乎并不容易实现,但也绝非不可能实现。我先抛出这个想法,也欢迎所有有兴趣的同仁共同思考,或批判,或贡献聪明的设想。就这个想法,我也会继续梳理,并继续通过文字分享我的一些思考。欢迎大家通过我的公众号「王嘉平」和知乎专栏「去中心化数字世界随想」就这个话题展开更多讨论。
免责声明:作为区块链信息平台,本站所发布文章仅代表作者个人观点,与链闻ChainNews立场无关。文章内的信息、意见等均仅供参考,并非作为或被视为实际投资建议。
本文来源于非小号媒体平台:
王嘉平
现已在非小号资讯平台发布10篇作品,
非小号开放平台欢迎币圈作者入驻
入驻指南:
/apply_guide/
本文网址:
/news/9558562.html
免责声明:
1.资讯内容不构成投资建议,投资者应独立决策并自行承担风险
2.本文版权归属原作所有,仅代表作者本人观点,不代表非小号的观点或立场
上一篇:
币安为何推出第三条链?这对BNB意味着什么?
郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。