从去年下半年开始,元宇宙的概念可谓是科技行业的一个最大热点,各大科技公司均纷纷宣布大力布局元宇宙。目前,普遍认为AR/VR将会成为元宇宙的重要入口,因此也成为了各大公司大力投资的领域。AR/VR硬件领域,Facebook的Quest系列已经成为全球最受欢迎的VR设备,而中国的巨头如字节跳动和腾讯在最近也有大的投资,其中字节跳动收购了中国公司中市场占有率最高的VR设备厂商Pico,而腾讯也在最近收购了黑鲨,将专注于VR硬件设备。AR硬件领域,去年下半年雷朋和Facebook携手推出了第一款面向大众的智能眼镜Ray-ban Stories,中国的华为等公司也纷纷推出概念原型机,而随着苹果的高端AR/VR设备预计在2022或2023年发布,预计未来AR硬件也将走上快速成长的道路。
ARVR硬件的性能对于能够支撑的用户体验极为关键,而其中的芯片也就成为赋能其硬件性能的核心部件。目前,在ARVR市场上,最主要的供货商毫无疑问是高通,其Snapdragon XR系列成为了目前几乎所有VR设备的选择,而在去年年底的高通投资日上,高通CEO Cristiano Amon也着重强调了ARVR(XR)市场将成为高通未来最关键的发力方向之一,并且预计目前相关芯片在2021年已经出货达到千万数量级。而在今年早些时候,高通也和微软在CES 2022上正式发布了在AR领域的合作计划,其中微软和高通将共同开发定制化的Snapdragon芯片用于AR眼镜中,其中将进一步包括对于微软Mesh平台和高通Snapdragon spaces这两大AR开发平台的支持。
人权活动专家敦促Meta为元宇宙引入年龄限制:金色财经报道,数十个倡导组织和互联网安全组织呼吁 Meta Corporation 停止允许未成年人进入 Horizo n Worlds metaverse 的计划。该公司于 2 月开始计划向 13 至 17 岁的用户开放其数字世界。目前,该应用程序仅适用于 18 岁。
活动人士认为,在已经处于早期发展阶段的元宇宙中,未成年人可能会面临骚扰和虐待。Meta 必须等待更多关于元宇宙潜在风险的研究,以确保儿童和青少年的安全。[2023/4/14 14:04:55]
从去年到今年的动态来看,ARVR芯片市场正处于高速增长的阶段,而目前高通在这个市场上几乎处于垄断地位。但是,随着该市场规模的进一步增长,一定会有更多的芯片厂商进入该市场。
合肥高新区发布元宇宙产业五年发展规划:金色财经报道,2月14日,《合肥高新区元宇宙产业发展规划(2023-2028)》(下称“《规划》”)在中安创谷科技园全球路演中心正式发布。按照《规划》,合肥高新区将把“元宇宙”纳入未来产业发展战略,明确“1+4+5”发展思路,建设“长三角元宇宙创新发展第一区”,打造具有世界影响力的元宇宙产业创新高地,为世界领先科技园区、合肥综合性国家科学中心核心区、\"科大硅谷\"核心区建设注入新动能。(证券日报)[2023/2/15 12:07:57]
ARVR芯片的技术门槛决定了有多少芯片公司能进入该市场竞争。我们不妨从VR芯片技术开始分析。
首先,从架构上来说,VR芯片的架构基本和其他智能设备的SoC类似,由一个处理器(AP)来运行操作系统并且掌控整体硬件的操作。因此,VR芯片首先需要拥有一个较强的处理器,但是这一点目前来说并非高不可攀——ARM的高性能处理器IP的使用和集成已经成为大多数SoC厂商的标准操作,因此我们认为VR芯片中的处理器并非是一个难以跨越的门槛。
B站CEO陈睿:元宇宙世界会是数字内容生态,用户创造内容将成主流:金色财经消息,8月27日,第三届“上海创新创业青年50人论坛”在上海召开,哔哩哔哩董事长兼CEO陈睿在该论坛上表示,元宇宙作为综合性产业,用户将是其中最重要的数字内容生产者和消费者,用户创作内容将是元宇宙的主流。陈睿认为,元宇宙将是每个用户都能参与生态共建的世界。元宇宙中的数字世界将是一个内容生态,其中的海量内容无法由几家公司提供,UGC内容(用户创造内容)将成为元宇宙的主流。用户在元宇宙当中,既是数字内容的消费者,也是数字内容的生产者。(新京报)[2022/8/28 12:53:07]
在VR SoC的众多IP中,最重要的决定用户体验的IP就是负责渲染和显示的GPU。目前,VR设备的主要应用还是游戏,而几乎所有的VR游戏都是3D图像(因为3D图像能给用户提供最好的沉浸感体验),因此GPU的性能就决定了这些3D游戏的多边形数量和渲染效果。目前的VR游戏的3D图像质量大约相当于10年前的PC和主机游戏,因此随着VR游戏市场的扩大和生态的形成,游戏图像质量将会成为主机之间竞争的核心指标,而这也将推动对于VR芯片中GPU渲染能力的需求。与桌面级GPU不同的是,VR芯片中的GPU必须考虑能效比,因为目前主流的VR设备都是依靠电池来供电,因此能效比将决定VR设备的续航时间,同时也需要保证VR设备散热没有问题。
元宇宙初创公司Condense完成450万美元种子轮融资:7月28日消息,体育及音乐直播元宇宙初创公司 Condense 宣布完成 450 万美元种子轮融资,伦敦风投公司 LocalGlobe 领投,7% Ventures、Deeptech Labs、Monzo 创始人兼前首席执行官 Tom Blomfield、以及一位艺术家和一位前英格兰足球运动员和体育节目主持人等参投。
Condense 是一家元宇宙基础设施初创公司,帮助用户在元宇宙创建出色的体育及音乐直播体验,其客户主要包括开发人员、广播公司、唱片公司、以及体育品牌商和比赛授权转播单位。Condense 计划很快在伦敦开设一家活动录音室,然后计划进军欧洲其他城市,以及其主要目标市场美国。(Sifted)[2022/7/28 2:43:49]
除了游戏图像质量之外,VR设备中用户体验的一大需求就是分辨率。目前VR设备中一个重要的被用户体验问题就是屏幕分辨率不够所产生的“纱窗效应”(即用户看到的图像好像隔了一层纱窗),因此VR设备对于4K甚至更高分辨率的需求更甚于手机。因此,我们预计在未来几年中VR设备的屏幕分辨率也将是各大厂商竞相追逐的目标,这也需要VR芯片的GPU能有足够的性能来支持高分辨率的屏幕。
传字节跳动将推出元宇宙社交APP“派对岛” 抖音相关负责人:与元宇宙无关:1月27日,有媒体报道,字节跳动将推出元宇宙社交App“派对岛”,上线新搜索产品“悟空搜索”,打造游戏社区产品“灵选”,此外还正在测试短距离配送机器人。字节跳动旗下抖音相关负责人表示,“派对岛”和元宇宙无关,是一个仍在小范围内测的社交产品,必须使用邀请码才可以使用。(中证报)[2022/1/27 9:16:45]
在GPU之外,VR芯片中另一个最重要的IP当属人工智能加速器。与传统手机中不同,VR设备中的众多交互都需要人工智能的介入。举例来说,VR设备一个重要的需求就是设备和用户的定位和追踪,并且把这个信息融合到游戏的虚拟环境中,这就需要使用人工智能中的SLAM技术才能高质量地实现。另外,目前VR设备中,交互越来越多地使用手部追踪和眼部追踪等先进技术来实现自然的交互,而这些追踪都需要使用人工智能模型,而且随着追踪精度的增加,模型需要的算力也在上升。最后,人工智能也是一个解决GPU渲染能力瓶颈的重要技术。屏幕分辨率上升和用户对于图像质量的追求给GPU很大的压力,但是事实上用户在同一时间并不会注意到屏幕上所有的像素点,而只会关注他们眼睛聚焦地方附近的像素点。因此,一个技术解决方案就是选择性渲染(foveated rendering),即使用眼部追踪技术结合人工智能模型来判断用户眼睛聚焦的位置并且在相应的地方做高质量渲染,而在用户关注不到的地方则可以降低渲染质量,从而减轻GPU的压力。目前,该技术已经使用在了Sony的PSVR2中,未来可望会用到更多的VR设备中。
从上面这些分析中,我们可以看到VR设备中的人工智能甚至比起在手机中更重要,因为这些人工智能模型首先是赋能用户体验重要特性的关键,同时也必须实时运行在VR设备中,而难以依靠云技术。这些人工智能模型的复杂度决定了VR芯片上必须有一个足够强力的人工智能加速器,同时拥有强算力和很好的能效比,才能支持这些应用。
除了GPU和人工智能之外,无线连接也是VR芯片中较为重要的部分。对于一些高质量游戏,目前的主流做法是让游戏运行在桌面计算机上,同时把图像通过串流(stream)的方式传送给VR设备,而这也就需要稳定和高速的WiFi连接。
今天来看VR芯片的需求和门槛已经较为明确,而相对而言AR芯片还处于较早期。与VR相比,AR眼睛无需连续运行大量的图像渲染,但是需要能实现全天候佩戴,而且对于重量有非常严格的需求(例如重量与一般的墨镜相当),这就进一步限制了眼睛上的电池容量,因此对于芯片来说会需要更进一步做低功耗优化。无论从Magic Leap还是微软的Hololens来看,AR图像渲染也是AR眼镜中一个极其重要的用户体验,因此对AR芯片的GPU将是一个挑战,即如何平衡渲染能力和功耗。人工智能也是类似,AR眼镜也需要对用户做SLAM,并且也需要支持手部追踪这样的交互,因此我们认为AR芯片可以认为是更低功耗版的VR芯片。
目前,ARVR芯片主要还是高通占绝对的领先地位,但是随着ARVR市场的进一步成熟,我们认为中国的芯片公司有相当的机会。
我们认为,ARVR芯片的基本架构与智能手机芯片类似,只是其中的IP的性能需求和重要性与智能手机芯片略有不同。例如,蜂窝网络modem是智能手机芯片中的绝对核心,同时也是中国芯片行业花了非常久时间才逐渐追上的领域,但是在ARVR中蜂窝无线网络并非必选项;相反,ARVR芯片中最关键的AP、GPU、人工智能加速等IP中国的芯片公司都已经有相当多的经验,因此我们认为从设计角度来说,只要中国的芯片公司能够和相关的ARVR设备公司合作来深入理解芯片的具体需求,我们对于中国芯片公司能在未来几年内进入ARVR领域持乐观态度。
另一个角度来看,由于ARVR芯片对于芯片的功耗和能效比有很强的需求,因此先进的半导体工艺将会对于这类高能效比芯片有很大帮助,预计未来几年内都会使用最新的半导体工艺(7nm及以下)来制造。从这一点上中国的半导体制造还需要进一步追赶才能从ARVR芯片的发展中获得收益,其中不仅仅包括半导体芯片制造工艺,还包括高级封装这类能从另一个维度提高整体系统能效比的核心技术。
郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。