CHA:ChatGPT来做安全审计?Coinbase说还早呢

在人工智能热潮席卷全球的当下,“ChatGPT”无疑是近期互联网上最火的一个话题,而ChatGPT在区块链领域也引起了不小的争议,从最基础的“你问我答”到简单的行情分析,甚至是设计一套量化策略来炒币……ChatGPT?的“超能力”也渗透进了区块链领域的每一角落。

上周,ChatGPT-4?正式上线。据其开发商?OpenAI表示,“ChatGPT-4?在各种专业和学术基准测试中拥有人类水平的性能”。在实际应用中,ChatGPT-4?在SAT考试中获得高分,并能成功监测出以太坊智能合约中的漏洞,甚至提出利用漏洞的潜在方法。

Coinbase?主管?ConorGrogan?随即证实了这一点,他在社交媒体上表示,自己已在?ChatGPT-4?中插入了一个实时以太坊智能合约,结果?AI?瞬间就找到了安全漏洞,甚至还展示了如何利用这些漏洞进行攻击。ConorGrogan?还表示,该合约的确在?2018?年被黑客利用漏洞攻击,此外他透露也尝试了?Euler?的智能合约,但由于合约过长而无法被?ChatGPT-4?处理。ConorGrogan?坦言道,AI?最终将使智能合约更安全、更容易构建。

某地址将超19万枚BNB转入币安,价值约5900万美元:5月11日消息,Whale Alert数据监测显示,bnb1fn开头的匿名地址刚刚将191,698枚BNB转入币安,价值约5947万美元。[2023/5/11 14:57:04]

随着这篇推文的发布,OpenAIChatGPT?检测安全漏洞能力也成为了圈内最热门的话题之一,ChatGPT?真的可以检查出去中心化应用的安全漏洞吗?准确率有多高?安全公司慌不慌?为了回答以上问题,Coinbase?快速开展专项研究。

就在本周二,Coinbase?在其官方博客中正式发布了利用?ChatGPT?使用?ERC?20?代币审查框架来执行自动审查与区块链安全工程师执行审查的对比实验及其报告成果。

实验的目的是通过将审查结果与区块链安全工程师执行的标准审查结果进行比较,以确定ChatGPT?代币安全审查的准确性。实验中,区块链安全工程师将利用内部工具审查代币智能合约中的每个功能,并根据标记到功能的风险输出风险评分;同样,为了将?ChatGPT?的准确性与标准评审的准确性进行比较,也需要?ChatGPT?生成一个风险评分。

美股区块链概念股盘前普跌 Riot Blockchain跌7.4%:金色财经报道,美股区块链概念股盘前普跌,Riot Blockchain(RIOT.O)跌7.4%,Marathon Digital(MARA.O)跌5.1%,Coinbase(COIN.O)跌4.2%。[2023/5/8 14:49:58]

为了让ChatGPT使用?Coinbase?的ERC?20安全审查框架生成风险评分,在此之前,Coinbase?需要对?ChatGPT?下达部分指令:

“我想让你担任区块链安全工程师。您的任务是根据与其功能相关的风险识别代币智能合约中的安全风险。这是我们的框架。以下智能合约中是否存在这些风险?、”如此,Coinbase?便可在ChatGPT的提示中定义其风险框架,并询问它是否存在任何风险。

Cosmos通过建立资助计划ATOM Accelerator DAO的提案:2月13日消息,Cosmos 通过建立 ATOM Accelerator DAO 并提供 58.8 万枚 ATOM 资助的提案,该提案建立成立 ATOM Accelerator DAO 并用于资助提供有价值的开源代码、公共产品以及生态发展计划。提案显示,成立 ATOM Accelerator DAO 将减轻公共治理负担并提高资金灵活性。[2023/2/13 12:04:26]

那么,ChatGPT的表现到底如何呢?

Coinbase?在其实验中对比了ChatGPT和人工安全审查之间的20个智能合约风险评分,其中,ChatGPT12?次生成了与人工审查相同的结果。然而,在另外?8次失误中,有5次是ChatGPT错误地将高风险资产标记为低风险资产。

Meta CEO扎克伯格决定辞职 元宇宙项目不会受到影响:11月23日消息,The Leak网站获得的信息显示,Meta Platforms(META.O) CEO扎克伯格已经决定自己辞职。根据该网站获得的内部消息来源,他的这一决定“不会影响扎克伯克数十亿美元的元宇宙项目”,该项目拖累了Meta,巨额的开支导致该公司今年早些时候出现了显著的利润下降。[2022/11/23 7:57:41]

看似表现还可以,然而我们都知道,低估风险评分的后果比高估风险评分更加严重,可能就因为一不小心的低估风险导致上架部分高风险币种,这将严重危害交易所以及用户的权益。

根据实验结果所得出的报告显示,ChatGPT只能说“浅”具备了快速评估智能合约风险的能力,但并不符合?Coinbase安全审查流程中的准确性要求:

首先,ChatGPT无法识别何时缺少上下文来执行稳健的安全分析。这会导致覆盖缺口,额外的依赖项并未被审查。为了防止任何覆盖缺口,每次都需要对?ChatGPT?的审查范围进行初步的分类。

其次,ChatGPT?的输出可能不一致;当多次对?ChatGPT?输入同一个问题时,并总是输出相同的答案。ChatGPT?似乎也受到代码中注释的影响,并且似乎偶尔会默认注释而不是函数逻辑。

最后,OpenAI继续迭代ChatGPT版本,导致额外的输出不稳定。过去可能用于提供一致输出的详细提示可能会在版本更改后产生替代输出。可能需要及时维护和输出质量控制,以确保一致的响应并避免任何操作故障。

综上所述,或许,Coinbase?可以通过进一步工程设计,提高?ChatGPT?代币安全审核的准确性。不过目前,Coinbase?依旧无法仅单独依靠?ChatGPT?来执行安全审查。Coinbase?希望未来可以提高其准确性,将?ChatGPT?作为二次?QA?检查的工具,从而使安全工程师可以利用该工具执行额外的控制检查,以捕捉可能被忽略的任何风险。ChatGPT?提示将被保存以供工程师将来使用,并计划在以后进行改进。

正如?Coinbase?的实验一样,我们可以通过调节?ChatGPT?的指令设计来进一步提高其准确性,但是对于安全审核这样偏机动性的工作而言,单靠?ChatGPT?使无法保证能在变量无法统一的情况下做出准确判断的,仍然需要进行人工干预,根据具体额外的控制检查来改进?ChatGPT?的提示。

总得来说,在区块链行业引入?AI,无疑给圈内创企提供了通过人工协作?AI?进行高效?build?的可能——ChatGPT拥有广泛的知识库,人工输入特定的业务逻辑和提示,而开发人员可以通过使用?ChatGPT?在更短的时间内完成更多的工作。此外,对于安全工程师对智能合约审计的高成本而言,ChatGPT提供了一种及时且经济高效的合约审计辅助。

就像区块链开发人员SalmanArshad?在?ETHDubai会议上回答的那样,“ChatGPT?和?AI?工具是福音;他们不是我们的敌人,也不是用来结束开发者职业生涯的。”ChatGPT的协作性质,与自动化流程和取代人工的潜在威胁相比,或许对于广大用户更大有利。

最后,我想问作为用户的你,是否敢使用接受?ChatGPT?审计过的?DeFi?协议呢?

郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。

地球链

[0:15ms0-1:529ms