假设您是 web3 新手，开始建立 web3 分析团队，或者刚刚对 web3 数据感兴趣。无论哪种方式，您都应该已经大致熟悉了 API、数据库、转换和模型在 web2 中的工作方式。
对于这本就职指南，我将尽量保持简洁，并突出我对以下三个重要的想法：
1. 思考：为什么开放数据管道会重塑数据工作的完成方式
2. 工具：web3 数据堆栈中工具的概述，以及如何利用它们
3. 团队：在 web3 数据团队中应具备的基本注意事项和技能
关于数据思维
让我们首先总结一下在 web2 中如何构建、查询和访问数据（即访问 Twitter 的 API）。
对于简化的数据管道，我们有四个步骤：
事件 API 触发（发送了一些推文）
摄取到数据库（连接到现有用户模型/状态更改）
特定产品/分析用例的数据转换（随时间增加回复/参与度指标）
模型训练和部署（用于管理您的 Twitter 提要）
数据有时是开源的唯一步骤是在转换完成之后。Kaggle（1000 个数据科学/特征工程竞赛）和Hugging Face（26,000 个一流 NLP 模型）等社区使用暴露数据的一部分来帮助企业构建更好的模型。有一些特定领域的案例，例如在前三个步骤中打开数据的开放街道地图，但这些仍然有写权限的限制。
对冲基金Gotbit Hedge Fund推出Web3加速器计划“Odyssey”:金色财经报道，对冲基金Gotbit Hedge Fund宣布推出Web3加速器计划“Odyssey”，旨在推动任何寻求为 DeFi 和 Web3 基础设施构建解决方案的项目、区块链技术公司、以及私人实体，并进行早期阶段或种子阶段投资。据悉，第一批有9个项目入围，分别是 Arcana、DeFiHelper、Farm xyz、Firepot Finance、Interest Protocol、Kinetex Network、Movement 、 Stable Battle和Trait Swap，第二批申请计划在一个月左右开放。（globenewswire）[2023/4/19 14:13:24]
并不是说 web2 根本没有任何开源。与大多数其他工程角色一样，web2 数据拥有大量用于构建其管道的开源工具（ dbt、apache、TensorFlow）。我们仍然在 web3 中使用所有这些工具。总之，他们的工具是开放的，但他们的数据是封闭的。
Web3 也将数据开源——这意味着它不再只是数据科学家在开源中工作，分析工程师和数据工程师也是如此！每个人都参与到一个更连续的工作流程中，而不是一个黑盒数据循环。
Binance Colombia与安第斯大学合作让学生和教师了解区块链和Web3:金色财经报道，Binance官方发布推文表示，Binance Colombia与哥伦比亚安第斯大学签署合作协议，将创建一系列教育计划，以便让学生和教师了解区块链和Web3。[2023/2/22 12:22:28]
工作的形式已经从 web2 数据大坝转变为 web3 数据的河流、三角洲和海洋。同样重要的是要注意，这个新周期会同时影响生态系统中的所有产品/协议。
让我们看一个 web3 分析师如何协同工作的示例。有几十个DEX使用不同的交换机制和费用，允许你将通证A换成通证B。如果这些是典型的交易所，比如纳斯达克，每个交易所都会以 10k 或一些 API 报告自己的数据，并且然后像 capIQ 之类的其他服务会将所有交换数据放在一起，并收取费用让您访问他们的 API。也许偶尔，他们会举办一场创新比赛，这样他们就可以在未来拥有额外的数据/图表功能来收费。
使用 web3 交换，我们有这个数据流：
dex.trades是Dune 上的一张表（由许多社区分析工程师随时间整理而成），其中汇总了所有 DEX 交换数据 - 因此您可以非常轻松地搜索所有交易所中单个代币的交换量之类的东西。
Concordium宣布与web3游戏门户Mana Games合作:金色财经报道，多链Web3游戏启动器Mana Games将推出一个P2P竞争模式，建立在Concordium区块链上。这项新功能定于1月底推出，将允许玩家在Web2 AAA级游戏中竞争并获得Web3奖励。
Concordium是具有内置自我主权ID框架的第一层区块链。[2023/1/27 11:31:30]
一位数据分析师出现并使用一堆社区开源查询创建了一个仪表板，现在我们对整个 DEX 行业有了一个公开的了解。即使所有的查询看起来都是一个人写的，你可以打，在某个不和谐的地方有大量的讨论可以准确地拼凑起来。
一位 DAO 科学家查看仪表板并开始在他们自己的查询中分割数据，查看特定的配对，例如稳定通证。他们研究用户行为和商业模式，并开始建立假设。
由于科学家可以看到哪个 DEX 占据了更大的交易量份额，因此他们将提出一个新模型并提出对治理参数的更改，以在链上进行投票和执行（s/o Alex Kroeger的提案这里的例子）。
之后，我们可以随时查看仪表板，了解该提案如何创造出更具竞争力的产品。
未来，如果有另一个 DEX 出来（或升级到新版本），这个过程会提升产品的功能。有人会创建插入查询来更新此表。这将反过来反映在所有仪表板和模型中（无需任何人返回并手动修复/更改任何内容）。任何其他分析师/科学家都可以在 Alex 已经完成的工作的基础上再接再厉。
LVMH旗下轩尼诗将推出基于NFT的Web3社交俱乐部:金色财经报道，LVMH旗下的轩尼诗正在与Friends with Benefits (FWB) DAO推出基于NFT的Web3社交俱乐部Café 11，Café 11的会员资格是以NFT的形式出现的，其中包括John P. Dessereau定制的数字艺术作品，11月4日，FWB将铸造1,765枚Café 11 NFT，售价为450美元。（ledgerinsights.co）[2022/11/1 12:02:14]
由于共享生态系统，讨论、协作和学习发生在更紧密的反馈循环中。这有时会变得非常压倒性，而且我认识的分析师基本上都在轮换数据时表现得倦怠。然而，只要我们中的一个人不断推动数据前进（即有人创建了插入 DEX 查询），那么其他所有人都会受益。
它也不一定总是复杂的抽象视图，有时它只是实用功能，例如可以轻松搜索 ENS 反向解析器或改进工具，例如使用单个 CLI 命令自动生成大部分 graphQL 映射！所有这些都可以被每个人重用，并且可以适应某些产品前端或您自己的个人交易模型中的 API 使用。
虽然这里解锁的可能性是惊人的，但是程序还没有那么顺利地运行。与数据工程相比，数据分析师/科学方面的生态系统仍然非常不成熟。我认为这有几个原因：
Web3基金会资助计划第11批项目包括UNI-ARTS等:10月12日消息，Web3基金会已经挑选出第11批通过其资助计划的项目，名单如下：开发工具包括UNI-ARTS、Supercolony；钱包、端口包括Cyril Carlier、Uniscan、Tesseract、Wow Labz、Health Hero；新的运行时刻模块和DApp包括Pawn、Uddug、Canyon Labs、Skynet Labs、Uniwrap-protocol、YibanChen、Banksy Finance、SubDAO Labs、Virto Network、Rreaudito、LimeChain、Opensquare、InvArch、SubGame、CESS LAB、CheersLand。（Polkadot中文平台）[2021/10/12 20:23:06]
数据工程多年来一直是 web3 的核心焦点，从客户端 RPC API 改进到基本的 SQL/graphQL 聚合。在 theGraph 和 Dune 等产品上的工作确实体现了他们为此付出的努力。
对于分析师来说，理解 web3 独特的跨协议关系表是一个艰难的过程。例如，分析师可以理解如何仅分析 Uniswap，但随后难以将聚合器、其他 DEX 和不同的代币类型添加到组合中。最重要的是，完成所有这些工作的工具直到去年才真正意义上出现。
数据科学家基本上习惯于进入原始数据转储并独自完成所有工作（建立自己的工作风格）。我认为他们不习惯在项目早期与分析师和工程师如此密切和公开地合作。这需要一段时间才能适应这样的环境。
除了学习合作之外，web3 数据社区还在学习如何在这个新的数据堆栈中工作。您不再需要控制基础架构或从 excel 中慢慢构建到数据湖或数据仓库 - 只要您的产品上线，那么您的数据就会无处不在。您的团队基本上进入了数据基础架构的精华部分。
关于数据工具
这就是你们大多数人来这里的目的：?
这些工具并不全面——它们只是我发现自己或其他人在以太坊生态系统中一直使用和引用的工具（其中一些还涵盖了其他链）。
“去中心化”标签意味着有一个基础设施网络或指导框架来阻止单方面发生的变化。我喜欢将其视为解耦基础设施与云基础设施，但这需要有自己的文章。
让我们来看看您何时需要使用每个图层/类别：
交互+数据源：这主要用于前端、钱包和数据摄取到较低层。客户端：虽然以太坊的底层实现是相同的（使用 Geth 作为规范的 repo），但每个客户端都有不同的额外功能。例如，Erigon 针对数据存储/同步进行了大量优化，Quorum 支持启动隐私链。
节点即服务：您无法选择它们运行的客户端，但使用这些服务将为您省去自己维护节点和 API 正常运行时间的麻烦。节点有很多复杂性，具体取决于您要捕获多少数据（轻→完整→存档）。
查询 + 数据映射：该层中的数据要么在合约中作为 URI 引用，要么来自使用合约 ABI将交易数据从字节映射到表模式。合约 ABI 告诉我们合约中包含哪些功能和事件，否则我们只能看到已部署的字节码（如果没有此 ABI，您将无法对合约交易进行逆向工程/解码）。交易数据：这些是最常用的，主要用于仪表板和报告。theGraph 和 Flipside API 也用于前端。有些表是合约的 1:1 映射，有些表允许在模式中进行额外的转换。
元数据“协议”：这些不是真正的数据产品，但存在用于存储 DID 或文件存储。大多数 NFT 将使用其中的一个或多个，我认为今年我们将开始越来越多地使用这些数据源来增强我们的查询功能。
专业提供商：其中一些是非常强大的数据流产品，用于内存池数据的Blocknative和用于链上交易数据的 Parsec。其他人聚合链上和链下数据，例如 DAO 治理或财务数据。
高频数据提供者：您无法查询/转换他们的数据，但他们已经为您完成了所有繁重的工作。“企业”服务：如果您是 VC、调查员或记者，您会经常使用这些服务。您可以使用Nansen 的钱包分析器或Chainanalysis 的 KYT深入了解钱包和钱包关系。或者使用 Tolken 终端在大量项目/链上获得漂亮的开箱即用图表。
增强的那些API：这些产品将许多查询捆绑到一个中，例如 ERC20 代币的所有代币余额或为给定地址提取合约 ABI。
数据团队
不言而喻，您希望在这些社区中寻找可以雇用到您团队的人。让我们进一步分解重要的 web3 数据技能和经验，以便您真正知道自己在搜索什么。如果您想被录用，请将其视为您追求的技能和经验！
分析师至少应该是使用Etherscan的高手，并且知道如何阅读 Dune 仪表板。这可能需要 1 个月的时间才能慢慢升级，如果您真的预订并狂欢学习，则需要 2 周。
您还应该考虑更多背景信息，特别是关于时间分配和技能可转移性的内容。
在 web3 中，数据分析师大约 30-40% 的时间将用于跟上整个生态系统中的其他分析师和协议。请确保您没有窒息他们，否则，它将成为对每个人的长期损害。与更大的数据社区一起学习、贡献和构建是绝对必要的。
关于可转移性：技能和领域在这个领域都是高度可转移的。如果我使用不同的协议，那么加速时间可能会很短，因为链上数据的表模式都是相同的。如果有的话，我可能在加入之前就已经使用过该协议的数据了！
了解如何使用这些工具并不重要——每个分析师都应该或多或少地能够编写 SQL 或创建仪表板。这一切都是关于知道如何为社区做出贡献和与社区合作。
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。