作者：@於方仁 /img/2023525190307/0.jpg">
目前生态上讲，BERT 多用于微调场景。因为微调必须在开源模型的基础上，GPT 仅开源到 GPT2 的系列。且相同模型参数量下 BERT 在特定场景的效果往往高于 GPT，微调需要调整全部的模型参数，所以从性价比而言，BERT 比 GPT 更适合微调。
而 GPT 目前拥有 ChatGPT 这种面向广大人民群众的应用，使用简单。API 的调用也尤其方便。所以若是仅使用 LLM，则 ChatGPT 显然更有优势。
ChatGPT Prompt
币安推出首个元宇宙真人秀节目“Build The Block”:5月8日消息，币安全球创意工作室Binance Studio宣布将首次推出“Build The Block”。这是一个新的全球数字媒体内容系列，12个Web3初创公司将在该节目中竞争币安的独家资源曝光。Build The Block是首个以Crypto为主题的创业竞演真人秀，同时也是币安首次涉足元宇宙真人秀。该节目首集将于5月12日22:00(UTC+8)上线Binance Live与币安官方YouTube账号。[2023/5/9 14:50:34]
下图是 OpenAI 官方提出对于 ChatGPT 的 prompt 用法大类。
Figure 1. Prompt Categories by OpenAI
每种类别有很多具体的范例。如下图所示：
Figure 2. Prompt Categories Examples by OpenAI
除此以外，我们在此提出一些略微高级的用法。
高级分类
这是一个意图识别的例子，本质上也是分类任务，我们指定了类别，让 ChatGPT 判断用户的意图在这
Base 公布“Build on Base”赏金获胜方为 Decent AI、Rhinestone 和 Inheritable:3月21日消息，Coinbase Layer 2 网络 Base 公布 ETHDenver BUIDLathon 的“Build on Base” 1.5 万 USDC 赏金获胜方，包括 Decent AI、Rhinestone 和 Inheritable。
其中，Decent AI 创建了一个去中心化的市场，基于相互激励运行 AI 模型。Rhinestone 是一个使用（修改的）Diamond Proxies（ERC-2535）的帐户抽象（ERC-4337）的模块化实现。Inheritable 是一种用于安全、去中心化继承的 Web3 遗嘱解决方案，锚定在 Base 上并由 Weavechain 提供支持。[2023/3/21 13:16:46]
Figure 3. Prompt Examples
实体识别与关系抽取
利用 ChatGPT 做实体识别与关系抽取轻而易举，例如给定一篇文本后，这么像它提问。
Figure 4. Example Text Given to ChatGPT
这是部分结果截图：
Figure 5. Partial Output from given Text on ChatGPT
Flashbots工程师：所有共识客户端均实施、测试并确认builder-specs集成:9月6日消息，Flashbots工程师Chris Hager在社交媒体发文表示，Flashbots实现了MEV-Boost的另一个里程碑事件，所有共识客户端都实施、测试并确认了builder-specs的集成，现在可将MEV-Boost与任何客户端一起使用。MEV-Boost是由Flashbots构建的提议者-构建者分离（proposer-builderseparation，PBS）的实现，用于以太坊权益证明。MEV-Boost旨在与标准Ethereum Builder API兼容，这意味着它与所有共识和执行客户端兼容。运行MEV-Boost的验证者通过向开放的builder出售区块空间来最大化其质押奖励。[2022/9/6 13:11:45]
之后可以追问给他们的关系，例如：
Figure 6.Asking relationship on ChatGPT
这样，一个大型的知识图谱便可轻松建立。
分析任务
如下图所示，我对 ChatGPT 提出了分析我目前需求的问题。
Figure 7. Result for needs request on ChatGPT
甚至还能让它给定分数。
Paxful与Built With Bitcoin Foundation共同向非营利性组织人权基金会捐款:9月15日消息，点对点金融科技平台Paxful宣布将向非营利性组织人权基金会捐款。Paxful将与Built With Bitcoin Foundation一起进行捐赠。后者是一个人道主义组织，所有这些都由加密货币提供支持。这笔捐款将为Qala Fellowship提供资金，该项目旨在寻找和培养尼日利亚当地人才，从开发人员开始，在比特币领域发展职业生涯。Qala Fellowship目前正在接受申请，旨在吸引更多非洲开发人员从事比特币工作，建立自己的公司，为开源做贡献，以及/或在不同的公司从事比特币工作。开发人员还将获得每月的津贴，以便专注于课程工作。（Sun News Online）[2021/9/15 23:26:31]
Figure 8. Scoring to evaluate the identified needs
除此以外还有数不胜数的方式，在此不一一列举。
组合Agent
另外，我们在使用 ChatGPT 的 API 时，可以将不同的 prompt 模板产生多次调用产生组合使用的效果。我愿称这种使用方式叫做，组合 Agent。例如 Figure 1 展示的是一个大概的思路。
Figure 9. The Paradigm of the Combination Agent
具体说来，例如是一个辅助创作文章的产品。则可以这么设计，如 Figure 10 所示。
动态 | Coinbase已经提交了“buidl”的商标请求:据thenextweb报道，Coinbase已经提交了“buidl”的商标请求。该申请文件确定了与“软件即服务（SAAS）服务相关的商标”，该服务采用虚拟货币交易软件，即用于管理、购买、销售、存储、交易、交换、发送和接收虚拟货币的软件。[2018/12/6]
Figure 10. Agent combination for assisting in creation
假设用户输入一个请求，说“帮我写一篇伦敦游记”, 那么 Intent Recognition Agent 首先做一个意图识别，意图识别也就是利用 ChatGPT 做一次分类任务。假设识别出用户的意图是文章生成，则接着调用 Article Generate Agent。
另一方面，用户当前的输入与历史的输入可以组成一个上下文，输入给 Chat Context Analyze Agent。当前例子中，这个 agent 分析出的结果传入后面的 AI Reply Agent 和 Phase Control Agent的。
AI Reply Agent 就是用来生成 AI 回复用户的语句，假设我们的产品前端并不只有一个文章，另一个敌方还有一个框用来显示 AI 引导用户创作文章的语句，则这个 AI Reply Agent 就是用来干这个事情。将上下文的分析与文章一同提交给 ChatGPT，让其根据分析结果结合文章生成一个合适的回复。例如通过分析发现用户只是在通过聊天调整文章内容，而不知道 AI 还能控制文章的艺术意境，则可以回复用户你可以尝试着对我说“调整文章的艺术意境为非现实主义风格”。
Phase Control Agent 则是用来管理用户的阶段，对于 ChatGPT 而言也可以是一个分类任务，例如阶段分为[文章主旨，文章风格，文章模板，文章意境]等等。例如 AI 判断可以进行文章模板的制作了，前端可以产生几个模板选择的按钮。
使用不同的 Agent 来处理用户输入的不同任务，包括意图识别、Chat Context 分析、AI 回复生成和阶段控制，从而协同工作，为用户生成一篇伦敦游记的文章，提供不同方面的帮助和引导，例如调整文章的艺术意境、选择文章模板等。这样可以通过多个 Agent 的协作，使用户获得更加个性化和满意的文章生成体验。
Prompt 微调
LLM 虽然很厉害，但离统治人类的 AI 还相差甚远。眼下有个最直观的痛点就是 LLM 的模型参数太多，基于 LLM 的模型微调变得成本巨大。例如 GPT-3 模型的参数量级达到了 175 Billion ，只有行业大头才有这种财力可以微调 LLM 模型，对于小而精的公司而言该怎么办呢。无需担心，算法科学家们为我们创新了一个叫做 prompt tuning 的概念。
Prompt tuning 简单理解就是针对prompt进行微调操作，区别于传统的 fine-tuning，优势在于更快捷， prompt tuning 仅需微调 prompt 相关的参数从而去逼近 fine-tuning 的效果。
Figure 11. Prompt learning
什么是 prompt 相关的参数，如图所示，prompt tuning 是将 prompt 从一些的自然语言文本设定成了由数字组成的序列向量。本身 AI 也会将文本从预训练模型中提取向量从而进行后续的计算，只是在模型迭代过程中，这些向量并不会跟着迭代，因为这些向量于文本绑定住了。但是后来发现这些向量即便跟着迭代也无妨，虽然对于人类而言这些向量迭代更新后在物理世界已经找不到对应的自然语言文本可以表述出意思。但对于 AI 来讲，文本反而无意义，prompt 向量随着训练会将 prompt 变得越来越符合业务场景。
假设一句 prompt 由 20 个单词组成，按照 GPT3 的设定每个单词映射的向量维度是12288，20个单词便是245760，理论上需要训练的参数只有245760个，相比175 billion 的量级，245760这个数字可以忽略不计，当然也会增加一些额外的辅助参数，但同样其数量也可忽略不计。
问题来了，这么少的参数真的能逼近 fine tuning 的效果吗，当然还是有一定的局限性。如下图所示，蓝色部分代表初版的 prompt tuning, 可以发现 prompt tuning 仅有在模型参数量级达到一定程度是才有效果。虽然这可以解决大多数的场景，但在某些具体垂直领域的应用场景下则未必有用。因为垂直领域的微调往往不需要综合的 LLM 预训练模型，仅需垂直领域的 LLM 模型即可，但是相对的，模型参数不会那么大。所以随着发展，改版后的 prompt tuning 效果可以完全取代 fine-tuning。下图中的黄色部分展示的就是 prompt tuning v2 也就是第二版本的 prompt tuning 的效果。
Figure 12. Prompt learning parameters
V2 的改进是将原本仅在最初层输入的连续 prompt 向量，改为在模型传递时每一个神经网络层前均输入连续 prompt 向量，如下图所示。
Figure 13. Prompt learning v2
还是以 GPT3 模型为例，GPT3 总从有96层网络，假设 prompt 由20个单词组成，每个单词映射的向量维度是12288，则所需要训练的参数量 = 96 * 20 * 12288 =23592960。是175 billion 的万分之1.35。这个数字虽不足以忽略不计，但相对而言也非常小。
未来可能会有 prompt tuning v3, v4 等问世，甚至我们可以自己加一些创新改进 prompt tuning，例如加入长短期记忆网络的设定。(因为原版的 prompt tuning v2 就像是一个大型的 RNN, 我们可以像改进RNN 一般去改进prompt tuning v2)。总之就目前而言，prompt tuning 使得微调 LLM 变得可行，未来一定会有很多垂直领域的优秀模型诞生。
总结
Large Language Models (LLMs) 和 Web3 技术的整合为去中心化金融（DeFi）领域带来了巨大的创新和发展机遇。通过利用 LLMs 的能力，应用程序可以对大量不同数据源进行全面分析，生成实时的投资机会警报，并根据用户输入和先前的交互提供定制建议。LLMs 与区块链技术的结合还使得智能合约的创建成为可能，这些合约可以自主地执行交易并理解自然语言输入，从而促进无缝和高效的用户体验。
这种先进技术的融合有能力彻底改变 DeFi 领域，并开辟出一条为投资者、交易者和参与去中心化生态系统的个体提供新型解决方案的道路。随着 Web3 技术的日益普及，LLMs 创造复杂且可靠解决方案的潜力也在扩大，这些解决方案提高了去中心化应用程序的功能和可用性。总之，LLMs 与 Web3 技术的整合为 DeFi 领域提供了强大的工具集，提供了有深度的分析、个性化的建议和自动化的交易执行，为该领域的创新和改革提供了广泛的可能性。
参考文献
金色荐读
金色财经 善欧巴
Chainlink预言机
区块律动BlockBeats
白话区块链
金色早8点
Odaily星球日报
欧科云链
MarsBit
深潮TechFlow
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。