大纲
本篇文章目的是通过具体示例,介绍完整的性能项目过程,具体内容介绍区块链性能测试中使用的:1.基本概念2.常用工具3.性能调优的常见情况这3块内容涵盖的内容非常多,每一个内容都有很多书籍和文章介绍,详细的内容不会出现在本文中。基本概念
区块链的性能测试,方法论上与传统的性能测试没有不同。性能测试有很多混乱的概念,这里我列出本文描述概念做一些定义。性能测试的定义
性能测试是对系统或者服务的性能指标建立监控策略,在特定场景下执行测试,分析判断性能瓶颈并调优,最终得出性能结果来评估系统或者服务的性能指标是否满足既定值。这里结合cosmos-sdk的simapp区块链来解释。1.需要明确指标,一般指两类指标:技术指标、业务指标。技术指标一般是TPS,响应时间,资源利用率,对应到区块链一般是指每秒可以处理多少笔交易?这些交易的响应时间或者统计结果是多少?在这种情况下系统使用的资源处于什么状态?期望满足的业务指标,应该来源于生产环境统计,以cosmos-sdk的生产应用cosmos-hub为例,其现阶段出块时间大约6秒,每个区块中的交易数大多数小于10。期望的业务指标设定为TPS为100是较为合理的。。2.测试模型:是真实场景的抽象,描述业务模型是什么样的。以cosmos-hub为例大致就是,分布在全球的区块链节点,在验证者节点约500个,活跃验证者节点约为200的情况下处理交易。测试时可以按比例抽象实际情况。3.测试方案:包括测试环境,测试数据,测试模型,性能指标等。对比区块链系统的测试,就是确定测试架构,准备好如1000个用户,每个用户余额1000stake这样的内容。4.需要有监控:监控的对象有压力机、区块链节点、其他如负载均衡服务器等。云原生时代的监控一般是Kubernetes+Prometheus+Grafana。5.需要测试条件:硬件环境,测试执行策略等。例如:4C8G,前60秒,每秒增加10个线程。6.需要有场景:指性能场景,正式化的描述是:在既定的环境、既定的数据、既定的执行策略、既定的监控之下,执行性能脚本,同时观察系统各层级的性能状态参数变化,并实时判断分析场景是否符合预期。性能场景,有时被称为测试用例其实是不对的。7.要有结果报告:报告内容当然就是实际的指标数据。性能场景分类
CasperLabs中国区负责人:目前区块链头部机构也可能被传统机构进行冲击和重新洗牌:金色财经报道,3月21日,《佟掌柜的朋友们-深圳海外专场》顺利举办,在主题是“优质海外项目的愿景与使命”的圆桌论坛上,
针对“在传统的金融市场上会有赢者通吃的理论,想问一下各位的理解,像比如机构的投资者他们是否会成为这个市场的赢家,以及对于你们这种加密的创新型企业来讲会遇到哪些机遇和挑战?”的问题。
CasperLabs中国区负责人表示,我觉得这个问题我分成三块:第一块,赢者通吃或赢家通吃一定会是最终的方向或最终的状态,当然,就像Wilson说的,在不同的阶段不同的赢者是不一样的人;第二,机遇也是有的,挑战也是有的,散户和机构的差别主要在几个维度上,通常来说散户投资的体量和机构相对来说,一个比较小,一个比较大,周期上散户看的是短线,机构看的是长线。这导致了对于一个新兴事物,散户可能会先去尝试一些新的,愿意尝试新鲜或有远见的人,这些人也会得到一定的市场红利,第二,他们已经做好了准备,他们带进来的是比散户更多、更优秀的团队、更多的资金体量,也是更全面的信息,所以机构进来也一定会对目前行业的格局发生一定的冲击,目前区块链头部的机构也可能被传统的机构进行冲击和重新洗牌,所以我觉得这个是带来的一个挑战。机遇也是,因为这个行业谁也不知道下一个赢家是谁,就像Wilson说的,淘宝、京东,但是拼多多很快杀出来,所以给大家也有很多的机遇。
更多详情见原文链接。[2021/3/21 19:05:04]
1.基准性能场景:做单交易/接口的容量,为混合容量做准备。2.容量性能场景:混合容量测试是因为线上真实场景就是由不同的业务组成的,所以由这些业务按照不同并发比例发起梯度压测就是混合容量测试场景。3.稳定性性能场景:核心就是时长,在长时间的运行之下,观察系统的性能表现。这个时长的设置,应该来源于运维周期。4.异常性能场景:在强压力之下,模拟异常。重要的性能指标
韩国科学技术信息通讯部发布区块链战略 将在七个领域引入区块链:韩国科学技术信息通讯部(MSICT)在24日举行的第16次产业革命委员会会议上发布了“区块链技术扩散战略”。政府已决定在七个领域引入区块链,包括:在线投票、捐赠、社会福利、可再生能源、金融、房地产交易、友情服务。科技部称,利用区块链可以增强信任和提高效率。明年开始,将鼓励企业使用监管沙盒系统,并将在釜山自由特区推进区块链事业落地。(韩联社)[2020/6/24]
性能测试的指标有很多,比如:1.RT,ResponseTime2.HPS,HitsPerSecond3.TPS,TransactionsPerSecond,这里的Transactions在传统的应用中一般称为”事务“,在区块链领域指”交易“4.QPS,QueriesPerSecond5.PV,PageView6.Throughput7.IOPS,Input/OutputOperationsPerSecond比较重要的指标有资源使用率、吞吐量、响应时间,服务提供方比较关心前两者,用户更更新后者。关于这些指标的一般情况引用PerformanceTestingMethodology(http://hosteddocs.ittoolbox.com/questnolg22106java.pdf)中的经典图来说明,实际情况可能不同。图中定义了3线3区域3状态,这个图值得多看看,能够大致理解指标简的关系。1.3线:Utilization,Throughput,ResponseTime2.3区域:LightLoad,HeavyLoad,BuckleZone3.3状态:ResourceSaturated,ThroughputFalling,EndUsersEffected
历史上的今天?|?突尼斯央行正在将区块链技术应用于国家货币:2019年4月8日,突尼斯中央银行正在探索将区块链技术用于国家货币科威特第纳尔。突尼斯中央银行(BCT)及其新任行长Marouane El Abassi目前正与DigitUS Tech的创始人兼首席执行官Walid Driss合作进行该项目。突尼斯央行成立了一个工作组,研究区块链、数字支付和加密货币,并由Abassi和Driss作为创始成员监管。
2018年4月8日,迪拜文化艺术局已经推出了由区块链支持的艺术数字银行“ArtBank”。ArtBank是世界上第一个使用加密货币促成艺术品交易的平台,将使迪拜成为全球艺术中心。迪拜文化艺术局代理总干事Saeed Al Nabouda表示:“我们希望将金融科技融入艺术领域。借助ArtBank,我们正在推出世界上第一款创意加密货币。随着时间的推移,加密货币的价值将会增长,并对迪拜经济起积极作用。”[2020/4/8]
其他
1.一般需要在什么时候做性能测试。a.项目上线前,估计系统承载能力b.项目重构后,评估效果2.如果一个项目得到性能报告就终止,这样就只是性能验证。做完全面的性能测试,同时将系统调优到最优状态,才算是一个完整的性能项目了。性能调优耗时长,还可能需要开发参与,代价高。区块链性能测试区块链的性能测试的指标最重要的是TPS与延迟,a16z的文章Whyblockchainperformanceishardtomeasure对此做了很有洞察的讨论,说明了为什么这两个指标很难测量和比较。其主要内容有以下方面:延迟
分析 | 区块链板块“淘汰赛”加速上演:盘面上,备受关注的区块链概念持续分化,相关个股“淘汰赛”加速上演,新湖中宝、浙大网新等继续涨停,通策医疗、先进数通等则遭遇跌停。就板块来看,周三区块链涨停个股仅有8只,跌停个股则达到12只,分化达到极致。而对于区块链是否还有行情的讨论也成为业内关注度较高的话题。有分析指出,管理层对区块链技术和产业创新发展的定调上升到了国家战略高度,央行相关的数字货币也呼之欲出,其他国家也在对这个领域进行论证,区块链概念后续的事件驱动和想象空间都比较充足。但就目前来看,由于市场整体疲弱,资金获利了结情绪高涨,区块链分化后或难以出现集体行情,局部行情背后将考验投资者的选股眼光。(金融投资报)[2019/10/31]
延迟的这段时间的起点和终点如何定义?1.起点是用户点击提交还是交易到达内存池?2.终点是交易被第1个区块确认?还是被第6个区块确认?又或者是最终用户收到接口响应的时间?3.有些区块链系统对交易会等待一定延迟和到达一定数量才开始处理。这样比较幸运的就是最后加入的交易,其处理延迟最短。4.对于上诉问题的一种折中方案是,即准确评估整个系统需要考虑延时的分布,而不是将其延迟看做单一数字。5.有些区块链系统的交易处理是有优先级的,fee高的交易很快确认,fee低的相对慢些。fee的不同对交易的延时和TPS的统计是有影响的。吞吐量
动态 | 新泽西州立法者一致投票支持整合区块链技术的法案:据btcmanager报道,一项旨在研究将区块链技术整合到新泽西州、县和市政府的记录保存和服务提供过程的法案获得了立法者的一致投票。根据5月23日的新闻稿,该立法现已转交州长。该法案还将建立“新泽西区块链倡议工作组”,负责进行必要的研究以及其他职责。[2019/5/25]
区块链中的吞吐量,即TPS(TransactionPerSecond)来衡量,这里的transaction显示不是平等的,最简单的例子就是以太坊中的交易,它可以是转账也可以是调用合约。因此,得出TPS需要指定T指代的是什么。另外一个实际的问题是,用户其实不关心一个区块链的TPS是多少,用户只关心如何少用fee并尽快完成交易。从这个角度来讲,TPS只对系统服务提供商有意义。基本工具
压力工具
压力工具一般用Jmeter或者特定应用专用测试工具如下:1.hyperbench/hyperbench2.hyperledger/caliper:Ablockchainbenchmarkframeworktomeasureperformanceofmultipleblockchainsolutions3.https://github.com/xuperchain/xbench4.…使用Jmeter应该是更贴近使用场景,更通用。一般与区块链节点进行交互的方式有1.gRPC协议2.HTTP协议(REST接口)Jmeter支持的Sampler支持有HTTP,对gRPC协议的支持需要借助插件jmeter-grpc-request监控工具
监控工具一般用Prometheus这工具可以监控的内容比较多,其生态如图(https://prometheus.io/assets/architecture.png)。在测试区块链应用的实践中,一般是先使用docker-compose部署多个区块链节点模拟正式进行测试的环境,因为正式的测试环境一般硬件配置较高,如果不是自建机房,使用云服务厂商的机器,费用昂贵,这样做可以节约成本。docker-compose中可以限制容器使用的资源,如内存和CPU算力,甚至绑定CPU核心,对这些资源的监控可以使用cadvisor。为了验证CPU限制是否准确,可以用stress-ng压满核心,看统计结果是否与限制值一致。
性能调优
一般遇到性能瓶颈的常见元原因会是网络、CPU、磁盘IO。引发磁盘IO的瓶颈的操作有写日志频频繁,打印不必要的日志,通过网络访问磁盘等。这些资源都会通过系统调用来完成,跟踪系统调用,可以使用strace来查看执行了哪些系统调用,以及在这些调用上花费的时间等信息还可能遇到的问题是系统不稳定,可以表现为CPU使用率/TPS不稳定。如果在LightLoad区域选择一定的并发压力,TPS波动较大的话,可能就是系统设计得不好,需要找到原因和优化了。如果是CPU使用率不稳定,从CPU指令执行层面来看为CPU处于idle状态的时长参差不齐。这种情况下的原因并不在于有CPU有idle,而是在于处于idle的时间段有长有短。需要借助Linux系统工具、程序对应的profilling工具来观测,找到原因。分析工具
要解决性能问题,首先需要找到原因,寻找原因的分析工具可以参考下图(https://www.brendangregg.com/Perf/linux_perf_tools_full.png)。这是Linux性能分析最重要的参考资料了,显示了在不同子系统出现性能问题后,应该用什么样的工具来观测和分析。
磁盘IO
磁盘IO一般会导致系统瓶颈,磁盘IO栈比较长,分析起来难度不小。熟悉IO栈,有助于我们发现问题(https://www.thomas-krenn.com/en/wikiEN/images/c/c2/Linux-storage-stack-diagram_v6.2.pdf)
找到原因后,如果能够通过调整操作系统参数或者应用系统参数优化性能是比较快捷的,如果需要修改代码,则会涉及系统架构优化,会有涉及和编码工作,调优周期会很长。下一篇文章将分享使用cosmos-sdk中的SimApp来进行性能测试以及在性能调优方面的方法。
郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。