ChatGPT是个「智商超高」的人工智能，经过GPT-4内核的升级版更是如此。然而我们知道，它的训练数据截止到2021年，没有训练过的东西，AI是不可能准确回答出来的。
自去年11月上线以来，ChatGPT已被无数人使用，人们一直要求以各种形式让这个大语言模型接入更多数据，3月24日，OpenAI终于宣布部分解除了ChatGPT无法联网的限制。
OpenAI的解决方案是用第三方插件作为桥梁，让AI在较安全的环境下「看」外界数据。昨天该机构开放了第一批ChatGPT插件名单。这批插件由Expedia、FiscalNote、Instacart、KAYAK、Klarna、Milo、OpenTable、Shopify、Slack、Speak、Wolfram和Zapier创建。
具体来说，插件现在可以让你用ChatGPT执行以下操作：
检索实时信息：例如体育比分、股票价格、最新消息等；检索知识库信息：例如公司文件、个人笔记等；代表用户执行操作：例如，订机票、订餐等。除此之外，OpenAI还自己提供了两种插件，包括一个网络浏览器和一个代码解释器，并开源了一个知识库检索插件的代码。现在，任何开发人员都可以自行构建插件，用来增强ChatGPT的信息库了。
目前插件alpha版的访问权限已扩展至更多候补名单中的用户和开发人员，虽然OpenAI表示优先考虑少部分开发者和ChatGPTPlus用户，但也计划未来进行更大规模的开放。
观点：Worldcoin创始人称该项目每8秒就有一个人得到验证的说法没有得到数据证实:金色财经报道，Worldcoin创始人称该项目每8秒就有一个人得到验证的说法没有得到数据证实。Worldcoin创始人Sam Altman于7月26日在Twitter上表示该项目的采用率“现在每8秒就有一个人得到验证”。在推文中，Altman描述了“世界各地的疯狂线路”并附上了个人的视频片段排队使用该项目的眼部扫描技术。然而，除了他的手机视频之外，Altman没有提供任何证据来支持他的说法。数据有限，Altman没有具体说明有多少人参与。早些时候7月13日的报道显示，Worldcoin在推出前几周就吸引了超过200万注册者。[2023/7/28 16:04:49]
为了让大家有个直观的感受，这里举一个例子：用户可以从ChatGPT中选择并安装Wolfram插件，从而提高其计算智能。
WolframAlpha里的数据均来自各大学术网站、出版刊物与科学机构，专业性绝对有保障，这样的ChatGPT有没让你感觉变得更强大了？
概述
今天的大语言模型虽然已能完成各种任务，但作用仍然有限。训练数据是它们可以从中学习的唯一信息，这些内容可能已过时，但又要适配人们所有的需求。此外，语言模型唯一可以开箱即用的能力就是输出文本。此文本可能包含有用的说明，但要真正遵循这些说明，人就需要进行更多处理。
富兰克林邓普顿旗下链上基金资管规模超2.7亿美元:金色财经报道，富兰克林邓普顿基金集团表示旗下基金Franklin OnChain U.S. Government Money Fund资产管理规模超2.7亿美元。该基金利用Stellar区块链网络进行交易活动，其总资产的至少99.5%投资于政府证券、现金和完全由政府证券或现金作抵押的回购协议。[2023/4/24 14:24:25]
虽然不是一个完美的类比，但插件可以成为语言模型的「眼睛和耳朵」，从而让语言模型能够访问新的、私人的或具体的，不包含在训练数据中的信息。
为了响应用户的明确请求，插件还可以使语言模型代为执行安全、受限的操作，从而提高整个系统的实用性。
OpenAI预计，统一应用程序做AI交互的开放标准将会出现，他们正在对这样一个标准进行早期尝试。
今天，OpenAI开始逐步开放OpenAI早期合作者为ChatGPT用户构建的插件，首先覆盖的对象是ChatGPTPlus订阅者，此外也开始推出让开发人员为ChatGPT创建自己的插件的能力。
在接下来的几个月里，随着安全系统的改进，OpenAI计划让使用OpenAI模型的开发人员能够将插件集成到自己的应用程序中，而不仅是ChatGPT。
安全性和更广泛的影响
当然，将语言模型连接到外部工具会带来新的机会，同时也会带来重大的新风险。
插件提供了解决与大型语言模型相关的各种挑战的潜力，包括大模型「幻觉」、追踪最近的事件，以及访问专有信息源。通过集成对外部数据的显式访问，例如在线最新信息、基于代码的计算或自定义插件检索信息，语言模型可以通过基于证据的参考内容来加强它们的回复。
WeTransfer与Minima合作开发移动NFT解决方案:2月7日消息，数字文件共享服务WeTransfer与区块链平台Minima合作，在其网络上推出NFT系列，并允许用户直接从手机生成NFT。该平台目前处于测试网阶段，计划于3月在180个国家上线。
数据显示，Minima已完成2轮融资共筹集900万美元，BigBrain Holdings、GSR等参投。（CoinDesk）[2023/2/7 11:52:01]
这些参考资料不仅增强了模型的实用性，还使用户能够评估模型输出的可信度并仔细检查其准确性，从而有可能减轻与最近GPT-4系统卡片中讨论的过度依赖相关的风险。最后，插件的价值可能跨越通过帮助用户处理各种新用例的现有限制。
但与此同时，插件可能会采取有害或无意的行动，增加不法分子欺诈、误导或虐待他人的能力，从而增加安全层面的挑战。通过增加可能的应用范围，插件可能会增加模型在新领域中采取的错误或未对齐操作而产生负面后果的风险。
这些因素就指导了ChatGPT插件平台的开发，OpenAI为此推出了多项保障措施。
此前，OpenAI已经在内部和与外部合作者进行了「红队演练」，演习了许多可能的相关场景。例如，红队发现了如果插件在没有安全措施的情况下发布，会执行复杂的prompt注入、发送欺诈邮件和垃圾邮件、绕过安全限制或滥用发送到插件的信息。
OpenAI正在使用这些发现来推动安全设计缓解措施以限制有风险的插件行为，并提高了它们作为用户体验的一部分运行的方式和时间透明度，此外还使用这些发现来确认逐步部署对插件的访问的决定。
插件可能会产生广泛的社会影响。例如，在最近发布的一篇论文中，OpenAI研究者发现能够使用工具的语言模型可能会比没有工具的语言模型产生更大的经济影响，更普遍地说，根据其他研究人员的发现，当前的人工智能技术浪潮将对工作转变、替代和创造的速度有很大影响。
研究：传统对冲基金认为监管不确定性是进入加密货币的最大障碍:金色财经报道，普华永道的研究表明，更明确的监管和税法将推动数十家大型传统对冲基金投资于加密货币。
大约三分之一的传统对冲基金表示他们正在投资数字资产。与去年相比，这是一个显着的增长，去年只有五分之一的人表示他们接触过加密市场。去年的调查结果支持了这种兴趣的显着增加，该调查表明大约 25% 的基金计划在来年投资加密货币。投资于加密货币的基金数量的增加与加密货币整体敞口的增加不成比例。在那些投资于加密货币的基金中，超过一半的基金只有不到 1% 的资产管理规模分配给数字资产。只有五分之一的受访者表示他们的资产管理规模中有 5% 或更多是加密货币。（cryptoslate）[2022/6/29 1:38:59]
让ChatGPT浏览网页
在WebGPT、GopherCite、BlenderBot2、LaMDA2等一系列工作的激励下，允许语言模型从互联网上读取信息，将严格地扩大了可以讨论的内容范围，超越了训练语料库，融入了当下的新鲜信息。
下图是一个例子，可以看到的是，浏览为ChatGPT用户打开了一种体验，以前的模型可能会礼貌地指出它的训练数据没有包括足够的信息让它回答。而在这个例子中，ChatGPT检索了最近的奥斯卡奖信息，然后进行了一番熟悉的ChatGPT诗歌表演。浏览成为了一种附加体验的方式。
视频演示
问：你能告诉我哪个人/电影赢得了这些类别的奥斯卡奖吗？
最佳演员最佳配乐最佳影片最佳男配角然后想出一首诗将它们联系在一起。
ChatGPT会给你一系列的搜索结果，你可以直接点击查看相关的信息来源。
“比特币失守20000美元”登上微博热搜榜第25位:金色财经报道，微博热搜榜数据显示，“比特币失守20000美元”登上微博热搜榜第25位，当前热度为255616。[2022/6/18 4:36:56]
除了为终端用户提供实用价值之外，语言和聊天模型能够进行彻底和可解释的研究，展现了具有可扩展对齐工作方面的前景。
值得注意的是，插件的基于文本的Web浏览器仅限于发出GET请求，这能减少但不会消除某些类别的安全风险。浏览插件的范围被限定为可用于检索信息，但不包括「事务性」操作，例如表单提交——这类操作具有更大的安全性风险。
浏览功能使用了微软必应搜索API从Web检索内容。因此，这一功能继承了微软在来源可靠性和信息真实性以及防止检索有问题内容的「安全模式」方面的大量工作。该插件在一个独立的服务中运行，ChatGPT的浏览活动与基础设施的其余部分是分开的。
为了尊重内容创作者并遵守网络规范，ChatGPT浏览器插件的用户代理token是ChatGPT-User，并配置为尊重网站的robots.txt文件。偶尔可能会导致「点击失败」，这表明该插件正在遵守网站的指示，避免对其进行抓取。此用户代理将仅用于代表ChatGPT用户采取直接操作，而不用于以任何自动方式抓取网络。OpenAI还发布了IP出口范围，并实施了限速措施以避免向网站发送过多流量。
代码解释器
可以使用Python处理上传和下载的实验性ChatGPT模型
OpenAI为ChatGPT背后的模型提供了一个在沙盒、防火墙执行环境中工作的Python解释器，以及一些临时磁盘空间。由解释器插件运行的代码在一个持久会话中进行评估，该会话在聊天对话期间一直处于活动状态，并且后续调用可以相互构建。目前该功能支持将文件上传到当前对话工作区并下载工作结果。
点击图中的FinishedCalculating：
从最初的用户研究之中，OpenAI确定了一些使用代码解释器较有价值的用例：
解决定量和定性的数学问题进行数据分析和可视化在格式之间转换文件演示视频
安全机制
将ChatGPT模型连接到编程语言解释器的首要防范措施是对执行进行适当的沙盒处理，以便AI生成的代码不会在现实世界中产生意外的副作用。OpenAI会在安全环境中执行代码，并使用严格的网络控制来防止外部互联网访问执行代码。此外，OpenAI对每个会话都设置了资源限制。
禁用互联网访问会限制代码沙箱的功能，但这可能是AI辅助编程最安全的初始形态。第三方插件在设计中以安全为最优先考虑，再将ChatGPT连接到外部世界。
数据获取
开源检索插件使ChatGPT能够经许可后访问个人或组织的信息源。它允许用户通过提问或用自然语言的方式表达需求，从他们的数据源中获取最相关的文档片段，例如文件、笔记、电子邮件或公共文档。
作为一个开源和自托管的解决方案，开发人员可以部署他们自己的插件版本并在ChatGPT上注册。其插件利用OpenAI嵌入并允许开发人员选择向量数据库来索引和搜索文档。信息源可以使用webhooks与数据库同步。
检索插件允许ChatGPT搜索内容向量数据库，并将最佳结果添加到ChatGPT会话中。这意味着它不会受到任何外部影响，主要风险是数据授权和隐私。开发人员应只将内容添加到他们有权使用的检索插件中，并且可以在用户的ChatGPT会话中共享。
第三方插件
在ChatGPT上使用第三方的插件就像这样：
OpenAI为第三方插件准备了描述清单文件，其中包括对插件功能的机器可读描述、调用方法，以及面向用户的文档。
{"schema_version":"v1","name_for_human":"TODOManager","name_for_model":"todo_manager","descriptionforhuman":"ManagesyourTODOs!","description_for_model":"Anappformanagingauser'sTODOs","api":{"url":"/openapi.json"},"auth":{"type":"none"},"logo_url":"https://example.com/logo.png","legal_info_url":"http://example.com","contact_email":"hello构建一个插件的步骤：
1、构建你希望语言模型调用的API端点。
2、创建一个记录你的API的OpenAPI规范，以及一个链接到OpenAPI规范并包含一些插件特定元数据的清单文件。
在chat.openai.com上开始对话时，用户可以选择他们想要启用的第三方插件。有关已启用插件的文档作为对话上下文的一部分显示给语言模型，使模型能够根据需要调用适当的插件API来实现用户意图。目前，插件是为调用后端API而设计的，OpenAI还正在探索也可以调用客户端API的插件。
演示视频
OpenAI表示，他们正在努力开发插件，并推广给更广泛的受众。
这也就意味着，ChatGPT带来的这场风暴，正在席卷一切。
参考内容：
https://openai.com/blog/chatgpt-plugins
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。