2022年6月3日 端午节安康。
今天主要分享如何利用爬虫爬取区块链浏览器上的交易列表数据。
dune上没有bsc链上的转账明细数据表。Footprint Analytics上现有的bsc_transactions表transfer_type粒度不够。
python 3.7
数据存储：mysql 5.7
缓存：redis 6.2.6
开发工具：pycharm
（1）所有协议、合约、swap地址转账信息全爬不太实际，对存储要求比较高。所以针对需要分析的协议，专门去爬取对应智能合约转账是个不错的选择。
（2）区块链浏览器肯定是有反爬机制的。所以在代理选择上，要选择国外的代理。国内的代理都访问不到，具体原因你懂的。本文中不涉及代理部分，因为国外的代理厂家之前没有了解过。不过即使是上代理，对代码层面改动也比较小
Python软件包中的“Kekw”恶意软件可以窃取数据和加密货币:5月5日消息，根据Cyble Research and Intelligence Labs ( CRIL ) 的数据，Python软件包中的“Kekw”恶意软件可以从受感染的系统中窃取敏感信息，并执行可以劫持加密货币交易的活动。目前，Python安全团队已经删除了该恶意包，无法确定有多少人下载了它们。[2023/5/6 14:45:53]
（3）采用了urllib同步请求 + 范围内随机时长程序休眠。减少了被风控的概率。但是也降低了爬虫的效率。
后面再研究用scrapy或异步请求
同步：请求发送后，需要接受到返回的消息后，才进行下一次发送。异步：不需要等接收到返回的消息。
Injective宣布主网与Pyth集成:金色财经报道，Cosmos生态智能合约平台Injective宣布Pyth已与Injective主网集成。Injective dApps 现在可以访问 Pyth 的任何链上数据，Pyth 是一个在链上发布连续真实世界数据的第一方金融预言机网络，它引入了一种创新的低延迟拉式预言机设计。有了这个功能，Injective 上的 dApps 可以在需要时轻松访问链上的可用价格，从而使区块链环境中的每个人都可以访问真实世界的资产数据。[2023/5/4 14:41:00]
找到需要爬取合约的具体地址：
第一页
http://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8第二页
Injective测试网集成Pyth Network，允许开发者构建DApp以访问机构数据:3月22日消息，Cosmos生态智能合约平台Injective测试网集成预言机Pyth Network，允许开发者构建DApp以访问各种资产的高保真、高频市场数据。这是Pyth数据首次支持Cosmos生态系统。Pyth Network引入一种创新的按需拉动模型预言机，用户可以在需要时将可用价格推送到链上，并使该区块链环境中的每个人都能够访问该数据点。Pyth在Injective上运行由Wormhole实现。发布者能够以交易的形式将数据直接发送到Pyth，随后将这些数据资产放在链上。当目标链（如Injective）请求数据时，Pyth能够通过Wormhole发送数据。[2023/3/22 13:20:06]
https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=2第三页
Cosmos上MEV基础设施Skip Protocol推出用于分析Cosmos中MEV的仪表板和Python库:9月13日消息，Cosmos上最大可提取价值（MEV）基础设施Skip Protocol宣布推出用于分析Cosmos中MEV的仪表板和Python库MEV Satellite，当前MEV Satellite仅支持Osmosis，之后会扩展到其他Cosmos链，并解决识别跨域/链MEV问题。Skip Protocol旨在构建链上和链下MEV基础设施，帮助用户、质押者和验证者分享MEV收益，使搜寻者能够执行更复杂和更有利可图的策略。[2022/9/13 13:27:28]
https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=3....
可以知道 p = ？就代表页数。
然后F12 点击“网络”，刷新界面，查看网络请求信息。
主要查看，网页上显示的数据，是哪个文件响应的。以什么方式响应的，请求方法是什么
如何验证呢，就是找一个txn_hash在响应的数据里面按ctrl + f去搜索，搜索到了说明肯定是这个文件返回的。
查看响应的数据，是html的格式。在python里面，处理html数据，个人常用的是xpath（当然，如果更擅长BeautifulSoup也可以）
在python里面安装相关的依赖
pip install lxml ‐i https://pypi.douban.com/simple同时在浏览器上安装xpath插件，它能更好的帮助我们获到网页中元素的位置
XPath Helper - Chrome 网上应用店 (google.com)
然后就可以通过插件去定位了，返回的结果是list
**注：**浏览器看到的网页都是浏览器帮我们渲染好的。存在在浏览器中能定位到数据，但是代码中取不到值的情况，这时候可以通过鼠标右键-查看网页源码，然后搜索实现
然后就是利用redis，对txn_hash去重，去重的原因是防止一条数据被爬到了多次
最后一个需要考虑的问题：交易是在增量了，也就是说，当前第二页的数据，很可能过会就到第三页去了。对此我的策略是不管页数的变动。一直往下爬。全量爬完了，再从第一页爬新增加的交易。直到遇到第一次全量爬取的txn_hash
最后就是存入到数据库了。这个没啥好说的。
以上就可以拿到转账列表中的txn_hash，后面还要写一个爬虫深入列表里面，通过txn_hash去爬取详情页面的信息。这个就下个文章再说，代码还没写完。
今天就写到这里。拜拜ヾ(?ω?`)o
来源：Bress
作者：撒酒狂歌
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。