本篇文章目的是通过具体示例,介绍完整的性能项目过程,具体内容介绍区块链性能测试中使用的:1.?基本概念
2.?常用工具
3.?性能调优的常见情况
这?3?块内容涵盖的内容非常多,每一个内容都有很多书籍和文章介绍,详细的内容不会出现在本文中。
区块链的性能测试,方法论上与传统的性能测试没有不同。性能测试有很多混乱的概念,这里我列出本文描述概念做一些定义。性能测试是对系统或者服务的性能指标建立监控策略,在特定场景下执行测试,分析判断性能瓶颈并调优,最终得出性能结果来评估系统或者服务的性能指标是否满足既定值。这里结合?cosmos-sdk?的?simapp?区块链来解释。1.需要明确指标,一般指两类指标:技术指标、业务指标。技术指标一般是?TPS,响应时间,资源利用率,对应到区块链一般是指每秒可以处理多少笔交易?这些交易的响应时间或者统计结果是多少?在这种情况下系统使用的资源处于什么状态?期望满足的业务指标,应该来源于生产环境统计,以?cosmos-sdk?的生产应用?cosmos-hub?为例,其现阶段出块时间大约?6?秒,每个区块中的交易数大多数小于?10?。期望的业务指标设定为?TPS?为?100?是较为合理的。。
2.测试模型:是真实场景的抽象,描述业务模型是什么样的。以?cosmos-hub?为例大致就是,分布在全球的区块链节点,在验证者节点约?500?个,活跃验证者节点约为?200?的情况下处理交易。测试时可以按比例抽象实际情况。
北京市石景山区推出区块链监管平台以解决预付费消费缺少保障难题:北京市石景山区推出一套区块链监管平台,可解决预付费消费缺少保障难题。该平台由腾讯云等提供技术支持。消费者进行咨询或投诉维权时,监管部门采信区块链平台上的消费、交易信息,就可以进行调解、监管和执法处理,帮消费者追回相应损失。该系统还引入保险公司建立了余额保险机制。预付类企业购买余额保障保险后,在发生破产、跑路等不能提供服务等情况时,保险公司根据区块链平台的交易记录进行赔偿,降低消费者损失。(腾讯云)[2020/10/9]
3.测试方案:包括测试环境,测试数据,测试模型,性能指标等。对比区块链系统的测试,就是确定测试架构,准备好如?1000?个用户,每个用户余额?1000?stake?这样的内容。
4.需要有监控:监控的对象有压力机、区块链节点、其他如负载均衡服务器等。云原生时代的监控一般是?KubernetesPrometheusGrafana。
5.需要测试条件:硬件环境,测试执行策略等。例如:4?C?8?G,前?60?秒,每秒增加?10?个线程。
6.需要有场景:指性能场景,正式化的描述是:在既定的环境、既定的数据、既定的执行策略、既定的监控之下,执行性能脚本,同时观察系统各层级的性能状态参数变化,并实时判断分析场景是否符合预期。性能场景,有时被称为测试用例其实是不对的。
动态 | 永辉超市强化生鲜安全 上线区块链溯源系统:据东方财富网消息,近日,永辉超市上线了区块链食品安全溯源系统,利用区块链不可篡改的特性,为生鲜食品流转的各环节进行存证。目前,永辉区块链溯源系统除了应用于多宝鱼产品外,也在肉制品、果蔬等其他生鲜大品类进行了试点推广。据永辉计算相关负责人透露:“想要依靠单一技术改变食品安全现状仍然过于乐观,但是区块链技术改变了传统溯源分散、可更改的缺点,可以对产品信息进行即时分享,实现信息公开化,从这一点上来说,将促使每个环节上的从业者自律。”[2018/11/5]
7.要有结果报告:报告内容当然就是实际的指标数据。
1.基准性能场景:做单交易/接口的容量,为混合容量做准备。
2.容量性能场景:混合容量测试是因为线上真实场景就是由不同的业务组成的,所以由这些业务按照不同并发比例发起梯度压测就是混合容量测试场景。
3.稳定性性能场景:核心就是时长,在长时间的运行之下,观察系统的性能表现。这个时长的设置,应该来源于运维周期。
4.异常性能场景:在强压力之下,模拟异常。
性能测试的指标有很多,比如:1.?RT,ResponseTime
2.?HPS,HitsPerSecond
金色财经现场报道 ChainPlus.One联合创始人曹明修:区块链尚未达到成熟应用场景:金色财经现场报道,在“2018联盟链的未来暨瑞链科技区块链产品发布会”上,在现场问答环节中,ChainPlus.One联合创始人曹明修指:从应用层项目的数量上而言,中国一年的项目数量是其他国家加在一起都不能相比的,但质量上而言,最好的1%项目出自中国的却并不多,来自中国的资金确实占据了世界上最顶尖20%-30%的比重。区块链尚未达到一个成熟的应用场景,比特币或者区块链在经济学做出的尝试比较少,还是很古典的、基于密码学的东西。比特币没有基于博弈的东西,而是假设了多中心化不存在任何通胀,它还假设了通胀是不好的,但这两种假设具有比较强的主观色彩。[2018/5/31]
3.?TPS,TransactionsPerSecond,这里的?Transactions?在传统的应用中一般称为”事务“,在区块链领域指”交易“
4.?QPS,QueriesPerSecond
5.?PV,PageView
6.?Throughput
7.?IOPS,Input/OutputOperationsPerSecond
比较重要的指标有资源使用率、吞吐量、响应时间,服务提供方比较关心前两者,用户更更新后者。关于这些指标的一般情况引用?PerformanceTestingMethodology(http://hosteddocs.ittoolbox.com/questnolg?22106?java.pdf)中的经典图来说明,实际情况可能不同。图中定义了?3?线?3?区域?3?状态,这个图值得多看看,能够大致理解指标简的关系。
英国航空测试VChain区块链登机服务:据btcmanager消息,VChain正在开发基于区块链的登机手续服务,这项新服务已获得英国航空母公司IAG的认可。航空公司和政府机构将能够根据区块链上庞大的数据库验证旅行者的身份。区块链技术的支持将在无需与第三方分享任何信息的情况下,允许验证个人信息。[2018/5/22]
1.?3?线:Utilization,Throughput,ResponseTime
2.?3?区域:LightLoad,HeavyLoad,BuckleZone
3.?3?状态:ResourceSaturated,ThroughputFalling,?EndUsersEffected
1.一般需要在什么时候做性能测试。
a.项目上线前,估计系统承载能力
b.?项目重构后,评估效果
2.如果一个项目得到性能报告就终止,这样就只是性能验证。做完全面的性能测试,同时将系统调优到最优状态,才算是一个完整的性能项目了。性能调优耗时长,还可能需要开发参与,代价高。
区块链性能测试
区块链的性能测试的指标最重要的是?TPS?与延迟,a16z的文章Whyblockchainperformanceishardtomeasure?对此做了很有洞察的讨论,说明了为什么这两个指标很难测量和比较。其主要内容有以下方面:
日本社交指数巨头推出区块链项目GSAE:据雅虎财经Yahoo!finance报道,全球社交资产平台GSAE宣布将利用区块链技术量化社交资产。GSAE使用区块链技术作为底层技术,将拥有社交属性的人,自媒体,IP等的影响力,舆情数据公正透明化的记录下来,通过分布式的加密记录确保信息的公正性及不可篡改性。同时将其社交资产的价值通过指数模型进行量化,为其提供一个可自由交易的市场。首发产品将在Q3季度上线。[2018/4/3]
延迟的这段时间的起点和终点如何定义?1.起点是用户点击提交还是交易到达内存池?
2.终点是交易被第?1?个区块确认?还是被第?6?个区块确认?又或者是最终用户收到接口响应的时间?
3.有些区块链系统对交易会等待一定延迟和到达一定数量才开始处理。这样比较幸运的就是最后加入的交易,其处理延迟最短。
4.对于上诉问题的一种折中方案是,即准确评估整个系统需要考虑延时的分布,而不是将其延迟看做单一数字。
5.有些区块链系统的交易处理是有优先级的,fee?高的交易很快确认,fee?低的相对慢些。fee?的不同对交易的延时和?TPS?的统计是有影响的。
区块链中的吞吐量,即?TPS(TransactionPerSecond)来衡量,这里的?transaction?显示不是平等的,最简单的例子就是以太坊中的交易,它可以是转账也可以是调用合约。因此,得出?TPS?需要指定?T?指代的是什么。
另外一个实际的问题是,用户其实不关心一个区块链的?TPS?是多少,用户只关心如何少用?fee?并尽快完成交易。从这个角度来讲,TPS?只对系统服务提供商有意义。
压力工具
压力工具一般用Jmeter或者特定应用专用测试工具如下:
1.?hyperbench/hyperbench
2.?hyperledger/caliper:Ablockchainbenchmarkframeworktomeasureperformanceofmultipleblockchainsolutions?
3.?https://github.com/xuperchain/xbench
4.?…
使用?Jmeter?应该是更贴近使用场景,更通用。一般与区块链节点进行交互的方式有
1.?gRPC?协议
2.?HTTP?协议(REST?接口)
Jmeter?支持的?Sampler?支持有?HTTP,对?gRPC?协议的支持需要借助插件jmeter-grpc-request
监控工具一般用Prometheus这工具可以监控的内容比较多,其生态如图(https://prometheus.io/assets/architecture.png)。在测试区块链应用的实践中,一般是先使用?docker-compose?部署多个区块链节点模拟正式进行测试的环境,因为正式的测试环境一般硬件配置较高,如果不是自建机房,使用云服务厂商的机器,费用昂贵,这样做可以节约成本。
docker-compose?中可以限制容器使用的资源,如内存和?CPU?算力,甚至绑定?CPU?核心,对这些资源的监控可以使用cadvisor。
为了验证?CPU?限制是否准确,可以用stress-ng压满核心,看统计结果是否与限制值一致。
一般遇到性能瓶颈的常见元原因会是网络、CPU、磁盘?IO。引发磁盘?IO?的瓶颈的操作有写日志频频繁,打印不必要的日志,通过网络访问磁盘等。这些资源都会通过系统调用来完成,跟踪系统调用,可以使用?strace?来查看执行了哪些系统调用,以及在这些调用上花费的时间等信息
还可能遇到的问题是系统不稳定,可以表现为?CPU?使用率/TPS不稳定。
如果在?LightLoad?区域选择一定的并发压力,TPS?波动较大的话,可能就是系统设计得不好,需要找到原因和优化了。
如果是?CPU?使用率不稳定,从?CPU?指令执行层面来看为?CPU?处于?idle?状态的时长参差不齐。这种情况下的原因并不在于有?CPU?有?idle,而是在于处于?idle?的时间段有长有短。需要借助?Linux?系统工具、程序对应的?profilling?工具来观测,找到原因。
要解决性能问题,首先需要找到原因,寻找原因的分析工具可以参考下图(https://www.brendangregg.com/Perf/linux_perf_tools_full.png)。这是?Linux?性能分析最重要的参考资料了,显示了在不同子系统出现性能问题后,应该用什么样的工具来观测和分析。
磁盘?IO?一般会导致系统瓶颈,磁盘?IO?栈比较长,分析起来难度不小。熟悉?IO?栈,有助于我们发现问题(https://www.thomas-krenn.com/en/wikiEN/images/c/c?2/Linux-storage-stack-diagram_v?6.2.pdf)
找到原因后,如果能够通过调整操作系统参数或者应用系统参数优化性能是比较快捷的,如果需要修改代码,则会涉及系统架构优化,会有涉及和编码工作,调优周期会很长。
下一篇文章将分享使用?cosmos-sdk?中的?SimApp?来进行性能测试以及在性能调优方面的方法。
郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。