来源：量子位
从Meta的LLaMA发展出的羊驼家族一系列大模型，已成为开源AI重要力量。
但LLamA开源了又没全开，只能用于研究用途，还得填申请表格等，也一直被业界诟病。
好消息是，两大对标LLaMA的完全开源项目同时有了新进展。
可商用开源大模型来了，还一下来了俩：
MosaicML推出MPT系列模型，其中70亿参数版在性能测试中与LLaMA打个平手。
Together的RedPajama系列模型，30亿参数版在RTX2070游戏显卡上就能跑。
金色算力云合伙人Jade Chen：矿机性能与网络不匹配、前置质押机制设计，成为导致Filecoin热度下降两大原因:12月23日，“瞰见未来—国际区块链技术创新峰会暨Cointelegraph中文一周年”大会在三亚湾海居铂尔曼酒店拉开序幕，本次大会由Cointelegraph中文主办、Nova联合主办，汇聚重磅嘉宾、聚焦行业热门议题，共讨2020年区块链技术发展、落地应用场景，展望区块链行业的未来发展趋势。
在主题为“从CPU到ASIC，如何开启挖矿新时代”的圆桌论坛上，金色算力云、开源矿池合伙人Jade Chen针对Filecoin热度下降表示，在Filecoin主网上线前，头部矿机厂商布局50亿矿机产品。在主网上线后，第一批矿机性能与Filecoin网络不匹配，加之前置质押代币机制设计，导致Filecoin热度回落，但依旧长期看好分布式存储赛道的发展。[2020/12/23 16:15:28]
对于这些进展，特斯拉前AI主管AndrejKarpathy认为，开源大模型生态有了寒武纪大爆发的早期迹象。
欧科云链李炼炫：“信息壁垒”和实物上链是影响区块链落地的两大挑战:欧科云链研究院首席研究员李炼炫认为，“信息壁垒”和实物上链是当前影响区块链技术实际产业落地的两大挑战。一是存在“信息壁垒”，区块链技术要发挥作用，跨部门、跨领域是关键。但是，目前问题在于难以打通各部门、各企业之间的壁垒。如果各参与方不愿意共享数据，区块链就没有数据之源，形成“数据孤岛”。二是实物上链问题，即目前难以保证线下实物可真实准确地“上链”。打破这一壁垒，需要物联网等配套成熟技术的支撑。李炼炫提醒，在加速区块链产业应用过程中，需要注意哪些应用是区块链的真需求，哪些是假需求，要保证区块链技术能切实解决场景应用痛点，并注重“脱虚向实”，防止利用区块链技术进行炒作等。（经济参考报）[2020/10/15]
链上ChainUP张姨：安全和流动性是交易所的两大命门:7月20日晚，在牛市财经X阿波罗交易所举办的《登陆月球日》的活动上，来自链上ChainUP的张姨表示：在交易所运营过程中，安全和流动性是交易所最重要的因素，也是最核心的命门。自交易所诞生以来，接连发生的安全事件无不昭示一点：交易所的资金和系统安全得以保障，才是能够持久运营的基础，建议交易所前期选择和有资质、有实力的技术服务商进行合作。
链上ChainUP旗下的链上云，提供的不仅仅是一套交易系统，更是整合了其运营过程中所需的流动性和风控策略，底层技术WaaS联盟以及衍生品等为一体的系统服务。通过硬核的技术手段为交易所提供更多优质的服务，同时链上流动性平台还聚合了整个市场的流动性，给客户提供高质量的流动性水平。此外还可以通过公开的接口为第三方交易所提供主流币对、平台币对、交叉币对的流动性解决方案，并提供对应风控管理。[2020/7/21]
MPT，与LLaMA五五开
MPT系列模型，全称MosaicMLPretrainedTransformer，基础版本为70亿参数。
声音 | 农业银行研发中心赵韵东：跨链的信息孤岛和隐私保护两大问题仍待解决:金色财经报道，中国农业银行研发中心副总经理赵韵东在采访时表示，银行对于新技术的应用很积极，也乐于尝试。但是大规模的使用和推广则是相对谨慎的。区块链技术的发展仍处于爬坡阶段，尚不完全成熟，很多应用也是在持续探索中。银行应用新技术要从三个方面着眼，第一是技术的价值，是否能够实现降本增效，扩大客户群体和提升服务能力，第二是技术和金融场景的匹配程度，第三是技术本身的成熟度。尽管区块链技术在银行业的应用初步达成了共识，但是跨链的信息孤岛和隐私保护两大问题却仍待解决。[2019/11/9]
MPT在大量数据上训练，与LLaMA相当，高于StableLM，Pythia等其他开源模型。
支持84ktokens超长输入，并用FlashAttention和FasterTransformer方法针对训练和推理速度做过优化。
在各类性能评估中，与原版LLaMA不相上下。
美财长对加密货币的两大担忧：用于和是否会损害消费者利益:美国财政部长姆努钦1月12日表示，他对加密货币有两大担忧，一是加密货币是否用于等非法活动，二是消费者利益是否会受损。美国财政部很关注比特币等加密货币的发展，美国金融稳定监督委员会已经成立工作小组监测此类虚拟货币。[2018/1/13]
除了MPT-7BBase基础模型外还有三个变体。
MPT-7B-Instruct，用于遵循简短指令。
MPT-7B-Chat，用于多轮聊天对话。
MPT-7B-StoryWriter-65k+，用于阅读和编写故事，支持65ktokens的超长上下文，用小说数据集微调。
MosaicML由前英特尔AI芯片项目Nervana负责人NaveenRao创办。
该公司致力于降低训练神经网络的成本，推出的文本和图像生成推理服务成本只有OpenAI的1/15。
RedPajama，2070就能跑
RedPajama系列模型，在5TB的同名开源数据上训练而来。
除70亿参数基础模型外，还有一个30亿参数版本，可以在5年前发售的RTX2070游戏显卡上运行。
目前70亿版本完成了80%的训练，效果已经超过了同规模的Pythia等开源模型，略逊于LLamA。
预计在完成1Ttokens的训练后还能继续改进。
背后公司Together，由苹果前高管VipulVedPrakash，斯坦福大模型研究中心主任PercyLiang，苏黎世联邦理工大学助理教授张策等人联合创办。
开源模型发布后，他们的近期目标是继续扩展开源RedPajama数据集到两倍规模。
OneMoreThing
来自南美洲的无峰驼类动物一共4种，已被各家大模型用完了。
Meta发布LLaMA之后，斯坦福用了Alpaca，伯克利等单位用了Alpaca，JosephCheung等开发者团队用了Guanaco。
以至于后来者已经卷到了其他相近动物，比如IBM的单峰骆驼Dromedary，Databricks的Dolly来自克隆羊多莉。
国人研究团队也热衷于用古代传说中的神兽，如UCSD联合中山大学等推出的白泽。
港中文等推出的凤凰……
最绝的是哈工大基于中文医学知识的LLaMA微调模型，命名为华驼。
参考链接：
https://www.mosaicml.com/blog/mpt-7b
https://www.together.xyz/blog/redpajama-models-v1
https://twitter.com/karpathy/status/1654892810590650376?s=20
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。