VR、AR和脑机接口，谁是人类通往元宇宙的合适入口？
VR/AR/脑机接口是集合了微显示、传感器、芯片和算法等多项技术在内的下一代人机交互平台。回顾整个人机交互发展历程，我们看到人机交互的指令输入形式和反馈输出形式都在朝着更低的操作门槛和更高的交互效率演变。当前我们正站在智能手机时代和下一个交互形态的交界处，我们认为尽管 VR/AR 在输入技术（传感）和输出技术（显示）方面均较上一代交互设备有显著飞跃，但目前仍处于发展的早期阶段。随着元宇宙应用的发展和内容生态的完善，元宇宙对硬件的需求逐步清晰，将推动 VR/AR/脑机接口设备的逐步升级，最终有望出现可以和 PC、智能手机媲美的下一代硬件。
本期的智能内参，我们推荐华泰证券的报告《人机交互系统是通往元宇宙的入口》，分析VR、AR和脑机接口设备在元宇宙时代的发展趋势。如果想收藏本文的报告，可以在智东西（公众号：zhidxcom）回复关键词“nc605”获取。??
来源 华泰证券
原标题：
《人机交互系统是通往元宇宙的入口》
作者：黄乐平 等
定义下一代人机交互升级方向
随着元宇宙应用场景的清晰化，未来 VR/AR/脑机接口的发展方向逐渐明确。早期的硬件设备受制于应用场景和内容单一化、用户对硬件设备的体验不完善等缺陷，初代VR/AR 并未实现大规模增长。
现在，我们看到游戏、电商、协同办公、社交、健身、医疗、视频和等元宇宙应用场景正逐渐清晰，这对 VR/AR/脑机接口硬件端提出了更高的需求，有望驱动包括微显示技术、三维重建、生物传感器、肌电/脑电处理、全身追踪、空间定位在内的多项底层技术不断完善。
▲元宇宙各大应用场景对沉浸感和交互感的要求
1、游戏：强调“沉浸感”的元宇宙游戏需要多平台/VRAR/云原生技术作为底层技术支撑
当前游戏已具备元宇宙所拥有的虚拟身份、朋友、经济系统等特点，但未能给玩家完全带来“沉浸感”，硬件方面主要受制于近眼显示和多维感官传感技术不够成熟。未来，元宇宙游戏将朝着更强的沉浸感与更丰富的内容生态方向发展，需要借助成熟的场景渲染和沉浸声场技术增强声画效果，借助全身运动追踪、传感器、空间定位等技术增强临场感。优质的游戏内容创新将与 VR/AR 硬件升级互相形成正反馈效应，促进元宇宙游戏生态的发展，并为高性能计算芯片、硅基 OLED、Micro LED 以及相关设备组装企业带来增量空间。
▲元宇宙游戏发展方向及底层技术
2、电商：虚实交融的沉浸式购物模式为近眼显示、AI 芯片、传感器带来发展机遇
传统电商平台仍主要以图片和视频等平面化形式展示商品。尽管近年来电商直播、AR 试妆等形式兴起，一定程度上弥补了传统电商在购物时较为单薄的观感体验，然而对于服饰等SKU 丰富的非标品类商品，用户仍然无法对其进行在线试品。在“在线即在场”的终极需求驱动下，元宇宙时代的电商有望进一步突破物质世界屏障，通过 AR/VR/MR 等新一代人机交互平台实现视听甚至触觉等多感官交互的购物体验，创造如 3D 虚拟商场、数字展馆等消费者购买场景。我们认为这一进程主要依赖于近眼显示、三维重建、触觉传感乃至虚拟人等技术的成熟，将为相关微显示、传感器、芯片企业带来增长空间。
▲元宇宙电商有望借助 VR/AR/MR 实现“在线即在场”的沉浸式购物体验
3、协同办公/社交：借助手势追踪、语音识别、眼动追踪、虚拟化身实现互动感
动态 | 维基解密已开始接受BCH捐赠:金色财经报道，维基解密（Wikileaks）已经开始接受比特币现金（BCH）捐赠。该网站目前还接受比特币（BTC）、莱特币（LTC）和以太坊（ETH）等。[2020/2/12]
未来元宇宙办公/社交有望突破物理空间的局限，将带来最接近实地面对面的工作和交友体 验，提升办公生产、沟通、协作效率。当前移动互联网阶段的远程办公距离理想模式有一定差距，工作效率与沟通效果仍存在局限性。而元宇宙办公/社交则强调互动感，例如，用户可以全程通过手势操作，即可满足在 VR 虚拟空间中举手、竖大拇指点赞等功能，显著降低人机交互平台操作门槛，同时实现无距离感互动。这一场景的实现将主要借助手势读取、眼动追踪、语音识别、空间定位等 VR/AR 底层技术。
4、医疗与健康：VR/AR/脑机硬件将搭载先进生物监测以及脑电信号处理技术
在生物监测方面，当前随着心率监测、血氧检测技术的成熟，已有部分智能手环和手表产品中引入了医疗级功能，向着更专业的医疗设备进化将是智能穿戴重要发展方向。未来，智能穿戴产品有望大规模搭载 ECG 心电图以及无创血糖检测等新功能，针对老年群体、慢病群体提供更专业的服务，这也对血糖、血氧等生物监测技术提出了更高的要求。长期来看，人机交互硬件在医疗与健康领域有望拓展到服务神经系统和肌肉系统瘫痪的患者（如脑、脊髓疾病、中风、外伤等），这一需求将为脑机接口技术创造可观的发展前景。
▲生物检测与辅助健身场景
5、视频：VR/AR 技术带来高沉浸感的流媒体观赏体验
传统影视作品、长视频与短视频仍主要通过电视、影院、视频平台等媒介传播，受制于平面化的表现形式，内容的表现力仍有较大提升空间。元宇宙时代，观众有望使用先进 VR/AR设备更沉浸地观看电影、现场实况、音乐会等内容，娱乐性与体验感将迎来质的飞跃。目前包括 Netflix 和爱奇艺在内的长视频平台已对“元宇宙+视频”的落地做出了积极探索。
6、模拟训练/教育：将实现虚拟空间中对实体环境的仿真映射
模拟训练是指将现实中的场景复刻到虚拟世界中，应用于军事训练、工业设计、教学训练、安全应急演练等较为复杂或具有高危险系数的领域。工业领域中，制造业企业将在仿真虚拟空间中充分利用各类数据，优化工业生产环节中的设备工艺和作业流程。
军事和安全应急领域均有进行模拟演练的需求，未来有望在虚拟场景开展更大规模和更复杂的军事和应急训练，实现节省训练成本、提高安全性的目的。鉴于模拟训练用途的特殊性，其对沉浸感和交互感的要求相对而言较低，无需依赖高端硬件设备加成，目前已有曼恒科技、壹传诚等企业实现了商业化。
VR 是 Virtual Reality（虚拟现实）的缩写，指计算机图形技术、计算机仿真技术、传感器技术、显示技术等多种科学技术，在多维信息空间上创建一个虚拟信息环境，提供使用者关于视觉、听觉、触觉等感官的模拟，能使用户具有身临其境的沉浸感，具有与环境完善的交互作用能力的一种崭新的人机交互手段。
VR 头显经历 VR 盒子、VR 头盔、VR 一体机三阶段，爆款产品持续主导硬件消费市场。2Q21 全球 VR 产品出货量达 212.6 万台，同比增长 136.4%，其中 Oculus Quest 2 出货量占 75%，持续主导市场。从 2014 年开始，行业销量由爆款产品主导的特点仍然没有变化（2015-2017 年三星 VR 盒子、2016-2018 年 PS VR、2019 年至今 Oculus 一体机）。
▲VR 历史销量：VR 盒子、VR 头盔、VR 一体机持续迭代
动态 | Reddit网友：维基解密或已累计4054枚比特币:据Bitzarena消息，Reddit用户“Boredguy32”发帖称，维基解密可能已经积累了4054枚比特币。根据目前的价格，这笔资金价值约4823万美元。该用户从两个钱包中计算出了这项总金额，这两个钱包据称与2006年启动的非盈利媒体计划有关。目前尚不清楚维基解密是否仍持有这笔资金。鉴于维基解密的运作性质，可能也有相当大的资金流出，用于支付法律费用，并支持披露机密信息所需的运作。[2019/7/8]
▲主流 VR 产品比较
2022 年 VR 将迎来一波创新技术潮流， MetaVR 产品迎来升级，苹果推出高端产品。根据digitimes，推测 Meta 下一代 VR 升级产品将于明年推出，将引入 pancake 光学模组和更多传感器，以实现产品轻量化，并升级手势识别、眼动跟踪等功能；而苹果也将在 2022年底推出一款高端 VR 方案，这款高端产品能够会重新定义 VR 这个产品形态。预计这款产品将配备 Micro-OLED 显示屏，复合菲涅尔透镜 pancake 方案，全彩影像透视、搭载更多传感器，为消费者带来全新混合现实体验。
在 Meta 较早的pancake 技术专利中，我们可以看见一个显示组件包括具有四分之一波片和部分反射表面的第一透镜、具有反射偏振器的第二透镜和显示器，实现头显的轻薄化。我们认为，苹果同样在探索使用三个菲涅尔透镜堆叠，形成轻薄透镜组的方案。改进光学透镜后的 VR 产品将实现轻薄化，头显重量或由原来的 500g 降低至 200-300g。
Meta 下一代 VR 产品与苹果 MR 产品将会增加传感器，主要是摄像头的种类与数量。高通在其官网上披露，高通骁龙 XR2 芯片算力最多可支持 7 颗摄像头（2 颗眼动追踪，2 颗混合现实，2 颗头部 6DoF追踪，1 颗其他），并可以此实现 MR 混合现实功能。我们认为 Meta 下一代或充分利用骁龙 XR2 算力，为产品进行功能升级。
根据 digitimes 等杂志 2022 年 1 月中旬的报道，苹果或将搭载与 M1 芯片相似算力高阶处理器和一个负责传感器的低阶处理器，支持 5-8 个外置相机模组，2 个内置眼动追踪相机模组，1-2 个 ToF 摄像头，以实现全彩RGB 影像透视和眼动追踪、手势追踪等功能，实现内容与应用边界的拓展，也为内容生产商提供更多的数据支持。
为 Meta 下一代或沿用 FastLCD 屏幕，与 quest 2 分辨率差别不大，但具有像素级控制的先进背光，可以展示和 OLED 一样的纯黑底色；而苹果或使用高分辨率、高对比度、宽色域、快速响应的 Micro-OLED 显示屏，随之而来的或是高昂的售价，根据Digitimes 等媒体 2022 年 1 月中旬的报道，新一代苹果 MR 产品售价可能达到 1500-3000美元，高于当前 Oculus quest 2 的最低售价 299 美元。
AR（Augmented Reality，增强现实）是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容，与 VR 不同的是，AR 能够将真实环境和虚拟物体之间重叠之后，在同一个画面以及空间中同时存在。AR 中的关键技术包括跟踪定位技术、虚拟与现实合并技术、显示技术与交互技术。
根据 IDC，2020-2021 年 AR 年出货（不含Screenless viewer）在 20-30 万之间，增速波动大。从品牌来看，除 Epson 和微软外，其他较多品牌并没有实现 AR 的持续大规模销售，常常在 1-2 个季度的爆发后销声匿迹，消费端市场上没能出现标杆性的品牌，我们认为 AR 作为一款消费电子产品仍然处于概念期阶段。
长期来看 AR 终端有望替代手机，实现年出货量超过 10 亿台（对比手机出货量超过 13 亿台），但目前来看实现这个目标时日尚早。从应用看，AR 产品仍未出现杀手级的应用场景。从技术角度看，虽然OLED+Birdbath 方案已经比较成熟，但因透光性差等原因，形似墨镜的设计不能支持全环境的使用。而其他微显示系统如 LBS/LCoS/DLP 等搭配光波导的方案仍在探索过程中。
声音 | 维基解密：Craig Wright伪造了证明其为比特币创造者的文件:据bitcoinist报道，在2月12日的一系列推文中，维基解密再次公开批评自称为比特币的创造者Craig Wright。Craig Wright被证明是连续造假者，伪造了称其为比特币创造者的文件。[2019/2/13]
一款合格 AR 眼镜需要怎样的配置？
显示：由于 AR 像源产生的图像将与太阳光一起进入人眼，户外若不加墨镜，入眼亮度需超过 2,000nits，甚至达到 5,000nits，才能在各种天气状况下清楚的显示图像。目前一款光波导眼镜的光效率大约为 3-5%，即像源亮度至少要在10 万 nits 左右，才能满足 AR 眼镜的亮度需求。此外，75Hz 以上的刷新率、25°视场下 720P的分辨率、支持局部刷新及低功耗状态下静态图像的维持，是一款 AR 眼镜的及格线。
人、机、环境的有效交互：为了实现虚拟信息和真实场景的叠加，需要实现使用者的空间定位追踪和虚拟物体在真实空间中定位。除此之外，为了将虚拟信息与输入的现实场景无缝结合在一起，增强 AR 使用者的体验，还需要考虑虚拟事物与真实事物之间的遮挡关系以及实现几何一致、模型真实、光照一致和色调一致。从上世纪 80 年代发展到现在，SLAM 传感器、算法、技术框架等持续改进，是实现自我姿态评价以及虚拟图像反馈，构建人与虚拟内容的有效交互的主要手段。
当前已提出的微显示技术包括 OLED（有机发光二极管）/ LCoS（硅基液晶）/ DLP（数字光处理）/LBS（激光束扫描仪）等待，但这些技术均无法兼顾成熟性、性能、成本等指标。MicroLED 是业内公认的 AR 显示最佳解决方案，但存在技术尚不成熟、量产难度大等问题，真正大面积商用可能要到 2025 年左右。
▲微显示技术一览
LCoS —— 限制较多，逐渐淡出 。LCoS 作为微显示技术存在比较明显的限制，逐渐淡出微显示领域。LCoS 的优势在于技术成熟，成本低廉，像素密度高且功耗低，在早期的 AR 设备中应用较多，如灵犀微光灵犀AR(LCoS+几何光波导)，Magic Leap One (LCoS+衍射光波导)。但劣势也相对明显，大量厂商都在积极寻求使用 LBS/DLP 等方案代替 LCoS，2018 年以后搭载 LCoS 的新机型逐渐淡出。
硅基 OLED —— 亮度较低，目前难以应用于户外 AR 场景。硅基 OLED 的缺点也比较明确，应用局限于 VR 及类似设备。目前市场上主流的硅基 OLED产品亮度均小于 3000nits，与 10 万 nits 的要求相去甚远，难以应用于户外 AR 场景。同时，由于产品的生产工艺更加复杂，其价格比 LCoS 贵 50%以上，但使用寿命在高亮度模式下将低于 3000 小时且极有可能出现烧屏的情况，整体性价比更低。因此，虽已有部分 AR 厂商使用硅基 OLED 替代 LCoS，但其仍不是 AR 像源的最佳解决方案。
LBS —— 激光二极管对温度敏感、分辨率较差。与 LCoS 等其他显示技术相比，LBS 技术优势明显。LBS 系统主要由激光、光学器件和MEMS Mirror 组成由于 LBS 使用激光光源进行逐像素渲染，相较其他非激光、逐帧渲染方案天然具有延迟低（激光纳秒 vs 普通光源毫秒）、画面滞留时间短、亮度高、能耗低、色彩丰富的优势。
当前主流的 LBS 产品分辨率约720P，提高分辨率可能需要较高的成本。AR 硬件/软件企业 Rave 首席科学家 Karl Guttag将搭载 LBS 光机的 HoloLens 2 代和搭载 LCoS 光机的 HoloLens 1 代进行对比测试后发现，虽然 HoloLens 2 的垂直视场角较 1 代提升近一倍（30 度 vs 17.5 度），但其在分辨率、色彩均匀性等方面的表现均更差。此外，HoloLens 2 实拍图色彩饱和度更低，观感模糊，雾度也更大。
动态 | 价值1400万的比特币解密游戏已被破解:据Blockexplorer消息，价值1400万的比特币解密游戏或被破解，310个比特币已被转出。此前，匿名用户Pip在Bitcoin Challenge网站上发布了一张隐藏有310个比特币的图片。在解谜过程中，除了310个BTC大奖外，参与者可以找到3个其他地址，分别含有0.1、0.2和0.31个比特币。[2018/10/10]
DLP —— 对温度敏感，难以小型化。DLP 由于成本高、体积大等缺陷，在 AR 场景中的应用有一定限制。DLP（Digital Light Processing）系统的核心是 TI 专利的 DMD 芯片（Digital Micromirror Device），它由数百万个高反射的铝制独立微型镜片组成，每个镜片通过数量庞大的超小型数字光开关控制角度。这些开关可以接受电子讯号代表的资料字节，然后产生光学字节输出，将输入 DMD 的视频或图形信号转换成高清晰度的、高灰度等级的图像。
MircoLED —— 仍处在早期阶段，较多技术问题需要解决。MicroLED 产品性能绝佳，是业内公认的 AR 显示最佳解决方案。Micro LED 即 LED 微缩技术，通过将传统 LED 阵列化、微缩化后定址巨量转移到电路基板上形成超小间距 LED，可将毫米级别的 LED 长度进一步缩小到微米级（50um 左右，原本 LED 的 1%）。相较其它技术，MicroLED 产品性能在亮度、对比度、工作温度范围、刷新率、分辨率、色域、功耗、延时、体积、寿命等多方面具备较大优势，被期望为下一代主流显示技术的重要路径。
MicroLED 的发展瓶颈在于微米级的像素尺寸和间距给量产和全彩方案所带来的巨大挑战。MicroLED 的生产包括芯片和背板制造、巨量转移、接合、驱动和检测维修等环节，由于其晶粒尺寸在微米级，生产单个成品即需要处理数百万甚至数千万晶粒，对技术的效率和良率提出了极为严苛的要求，现有技术水平还无法满足其量产需求。而 MicroLED 晶粒的发 光效率、波长一致性和良率也尚未达到 MicroLED 彩色化显示的要求。基于此，现有MicroLED 屏幕价格高昂，单片售价即大于 1000 美金。2018 年三星演示的采用 microLED技术的 The Wall 电视，146 寸版报价高于 10 万美元。
光学模组：从几何光学到纳米光学。与 VR 的不同之处在于，AR 眼镜需要透视（see-through），既要看到真实的外部世界，也要看到虚拟信息，所以成像系统不能挡在实现前方，这就需要多加一个或一组光学组合，通过层叠的方式，将虚拟信息和真实场景融为一体，设计包括自由曲面，光波导等。
▲AR 光学模组梳理
光波导技术是应 AR 需求而生的一个比较有特色的光学组件。因它的轻薄与外界光线的高穿透特性而被认为是消费级 AR 眼镜的必选光学方案。
AR 眼镜中光的传输关键在于“全反射”。其实，波导技术并不是新发明，光纤就是波导的一种，只不过传输的是我们看不见的红外波段的光。光机完成成像过程后，波导将光耦合进自己的玻璃基底中，通过“全反射”原理将光传输到眼睛前方再释放出来，就完成了图像的传输。
越是大的视场角，就需要越高折射率的玻璃基底来实现。因此传统玻璃制造商比如康宁和肖特，近年来都在为近眼显示市场研制专门的高折射率并且轻薄的玻璃基底，还在努力不断增大晶元尺寸以降低波导生产的单位成本。
具体来看，当前光波导技术可以分为下面三种：
1) 几何/列阵光波导。该概念和专利一直由以色列公司 Lumus 提出并持续优化迭代，基本原理是耦合光进入波导的一般是一个反射面或者棱镜。在多轮全反射后光到达眼镜前方时，会遇到一个“半透半反”镜面阵列，将光耦合出波导。几何/列阵光波导目前大都只能实现一维扩瞳。这里的“半透半反”镜面阵列相当于将出瞳沿水平方向复制了多份，每一个出瞳都输出相同的图像，这样眼睛在横向移动时都能看到图像，这就是一维扩瞳技术(1D EPE)。
以BCH为目标的勒索软件已经出现 支付赎金后无法解密文件:根据Bleeping Computer公司发布的报告，勒索软件已开始要求使用BCH进行赎金支付，该软件名为Thanatos。根据Bleeping Computer的报告，即使支付赎金，被勒索软件加密的文件也无法打开。安全研究人员建议用户定期以安全可靠的方式备份他们的文件，并使用合适的安全软件，同时在发件人未知时不要打开附件。[2018/3/2]
2) 浮雕光栅衍射光波导。传统的光学结构被平面的衍射光栅取代，通过材料表面浮雕出来的高峰和低谷，在材料中形成了一个折射率的周期性变化。通过设计光栅的参数(材料折射率、光栅形状、厚度、占空比等)可以将某一衍射级(即某一方向)的衍射效率优化到最高，从而使大部分光在衍射后主要沿这一方向传播。
用衍射光栅可以实现二维扩瞳，digilens 和 WaveOptics 分别具有两种技术方案。Hololens I, Vuzix Blade, Magic Leap One, Digilens 等使用的方法是，当入射光栅将光耦合入波导后，会进入一个转折光栅的区域，这个区域内的光栅沟壑方向与入射光栅呈一定角度，那么它就像一个镜子一样将 X 方向打来的光反射一下变成沿 Y 方向传播。另外一种实现二维扩瞳的方式是直接使用二维光栅，即光栅在至少两个方向上都有周期，将单向“沟壑”变为柱状阵列。WaveOptics 就是采用的这种结构，从入射光栅耦合进波导的光直接进入一个具有二维柱状阵列发区域，可以同时将光线在 X 和 Y 两个方向实现扩束，并且一边传播一边将一部分光耦合出来进入人眼。
3) 布拉格光栅衍射光波导（也叫全息光栅光波导）。利用光全息术在记录材料薄膜上记录点光源的干涉条纹，再经过处理制成光栅条纹结构的薄膜光学元件，具有光束准直、聚焦、偏转等功能。其对光的衍射符合布拉格定律，只有满足布拉格条件的入射光才会被衍射，不满足布拉格条件的入射光不被衍射。目前在做全息体光栅(VHG)波导方案的厂家比较少，包括十年前就为美国军工做 AR 头盔的 Digilens，曾经出过单色 AR 眼镜的 Sony，还有由于被苹果收购的 Akonia。
SLAM：理解环境与使用者，实现虚拟信息和现实世界的结合。SLAM（Simulataneous Localization and Mapping），同步定位与地图构建，指在运动过程中通过重复观测到的环境特征定位自身位置和姿态，再根据自身位置构建周围环境的增量式地图，从而达到同时定位和地图构建的目的。
现代流行的 SLAM 系统大概可以分为前端和后端。前端通过传感器实现数据关联，研究帧与帧之间变换关系，主要完成实时的位姿跟踪，对输入的图像进行处理，计算姿态变化。后端主要对前端的输出结果进行优化，得到最优的位姿估计和地图。
SLAM 在 ARVR 中有较多应用，AR 中主要是 1）现实物体与虚拟物体的有效交互，2）实现语义理解，优化智能辅助功能：
实现虚拟世界和现实世界之间坐标叠加、实现几何物理信息交互。与电脑、平板、手机的3D 显示不同，AR 更注重虚拟信息与真实信息的无缝融合，即图像出现的平面位置与景深准确、带来沉浸感的良好体验。这就需要利用 SLAM 算法，准确叠加虚拟坐标系和真实坐标系。同时，真实环境中有高低起伏、有障碍物、有遮挡关系，AR 可以让虚拟信息跟这些真实环境中的物理信息进行交互。
随着机器学习和深度学习的发展，虚拟信息可以“理解”真实世界，让二者的融合更趋于自然。当前计算机已经可以已经可以认出图片上的内容，但没有理解内容之间的关系，当前的一项研究方向是，应用 SLAM+AI 技术，通过特征提取，实现机器的语义理解，优化 AR 系统的辅助功能。
传感器：交互方式与应用场景升级推动传感器升级。AR 中交互方式的升级，带来更多样信息需求。随着人机交互由 2D 走向 3D，交互方式逐渐多样化，向人类本能发展，手势交互、姿势交互、眼动交互、语音交互，甚至结合生物信号、周围环境交互的方式不断进化，这对更多种类的信息提出了要求，用户运动类、生物类信息，以及其他环境信息都将为人机交互提供底层支持。
大量信息需求为运动类、生物类、环境类各型传感器提供增量机会。当前苹果手机、手表广泛运用多种运动、生物型传感器，与之对比，VR 爆款产品 Oculus quest 2 头显仅搭载了4 颗黑白摄像头，手柄配备了两组陀螺仪加速度计传感器。未来，为实现更深度沉浸和更便捷交互，测距摄像头、眼动追踪摄像头、精细化压力传感器，甚至生物型、环境型传感器，都将逐渐配备。
离现实还有多远？
脑机接口（Brain Computer Interface，BCI）1976 年由加州大学洛杉矶分校的雅克·维达尔(Jacques J. Vidal)提出。一个完整的脑机接口过程包括信号采集、信息解码处理、信号?输出/执行、反馈四个步骤实现。脑机接口可以通过电、磁、光、声进行信号采集与反馈，而脑电技术是目前主流探索方向。事实上采集中枢神经信号以监测大脑活动的方法有很多种，包括脑电、功能近红外光谱（functional near-infrared spectroscopy, fNIRS）、功能磁共振成像（functional magneticresonance imaging, fMRI）等，反馈技术也同样包括电、磁、声、光多种。
马斯克提出的一个经典论述是“人类不能被 AI 淘汰，要与 AI 融合，在大脑和电脑之间创建一个接口”。随着我们对脑科学的不断认识和脑机接口技术下对人类肢体限制的不断突破，人脑的潜能或得到释放。
在各种监测技术中，脑电因为时间分辨率高、设备价格低廉且便携等优点，逐渐成为脑机接口研究最主流的探索方向。脑机接口主要包括以下几种技术：
1) 脑电采集：脑电采集是 BCI 的关键步骤，采集的效果、信号强弱、稳定性及带宽大小直接决定后续的处理及输出。由于大脑的中枢神经元膜电位的变化会产生锋电位（spikes），或动作电位（action potentials），并且神经细胞突触间传递的离子移动会形成场电位（field potentials），通过在大脑皮质的运动神经位置外接或植入微型电极，可以采集并放大这些神经生理信号。
2) 信号解码处理：信号处理是将转化为电信号的大脑活动，去除干扰电波以及其他信号，并将目标分类并处理，转化为可以执行输出的对应信号。
3) 信号输出及执行：信号输出指将收集并处理后的脑电波信号传输至已连接的设备器材，作为数据基础加工内容，或反馈到终端机器以形成指令，甚至实现直接交互。
4) 反馈：在信号执行后，设备将产生动作或显示内容，参与者将通过视觉、触觉或听觉感受到第一步产生的脑电波已被执行，并触发反馈信号。
根据脑电的采集方式，当前的脑机接口又可以分为侵入式、非侵入式 。
非侵入式是在人/动物大脑外部佩戴脑机接口设备，通过采集脑电、神经电获取脑部信息，但信息精度及分辨率较低，可用于简单的信号判断与反馈，但较难传达复杂指令，如帮助肢体残障人士通过意念操控机械骨骼，或用于 VR/AR游戏应用的基础手势控制。非侵入式根据收集信息的不同可以分为 EEG（收集脑电）和MEG（收集磁场）两种。
1）EEG：通过导电凝胶将 Ag/AgCI 电极固定在头皮上，以测量头皮脑电信号，但一般只能监测到 0-50Hz 相对较窄频带中的信息。
2）MEG：通过测量细胞内离子电流引起的小磁场获得信号，但由于高昂的成本和操作方法的繁琐（电磁封锁环境，保持绝对静止），MEG 并不是一个理想的解决方案。
侵入式脑机接口主要应用于医疗康复领域。侵入式将设备直接植入到人/动物大脑灰质或颅腔内，能够获取相对高频、准确的神经信号，不仅能够通过读取脑电信号来控制外部设备，还能够通过精确的电流刺激让大脑产生特定感觉。侵入式脑机接口可以分为 ECoG、LFP、SUA 等类型。
1） ECoG：测量大脑皮层电位，与 EEG 技术相似，但能够监测到更大带宽的信息；
2） LFP、SUA：测量大脑皮层场电位与锋电位，可以通过 Mircowire array，Michigan array，Utah array，Neurotrophic electrode 等多种传感器实现。
侵入式采取电信号的方法，具有较高的空间分辨率、良好的信噪比和更宽的频带，但目前仍然面临着有创带来的安全问题、难以获得长期稳定的记录、需要医护人员长时间连续的观察等问题，目前应用仍局限于医疗康复领域。
随着人们对大脑的认知、电极设计、和人工智能算法的精进，脑机接口领域应用也持续拓展，并向更加精细化发展。脑机接口相关的研发已经在仿生学、医疗诊断与干预、消费电子等多个领域进行持续探索，相关产品可能将在未来 20-30 年内陆续商业化，支撑起近千亿美元的市场规模。
目前来看，脑机接口在以下三个场景最有希望率先落地：
应用场景1：医疗健康领域是脑机接口当前最接近商业化的领域。脑机接口可以帮助实时监控和测量神经系统状态，辅助临床判读。“监测”型脑机接口应用方向十分多样，包括评测陷入深度昏迷患者的意识等级，测量视/听觉障碍患者神经通路状态协助医生定位病因等等。除此之外，通过结合脑电、视频等多元信息进行诊
监测到的脑电信息可以用于加工、反馈，针对多动症、中风、抑郁症等做对应的恢复训练。例如，对于运动皮层相关部位受损的中风病人，脑机接口可以从受损的皮层区采集信号，然后刺激失能肌肉或控制矫形器，改善手臂运动；运动想象类脑机接口可以用于孤独症儿童的康复训练，提升他们对于感觉运动皮层激活程度的自我控制能力，从而改善孤独症的症状，也可以通过脑电信号的反馈，训练使用者的专注力。疗，能够辅助医生判读脑损伤、脑发育等多种临床适应症。
基于电、声、光、磁刺激进行神经调控的脑机接口已经实现商业化。相关应用包括：通过电刺激治疗进行神经康复，主要针对脑卒中、 帕金森等中枢神经或周围神经损伤所致的运动功能障碍，如偏瘫、肌萎缩、肌力低下、步行障碍、手功能障碍；通过颅磁刺激治疗抑郁症，以及对脑卒中所致的言语功能障碍、吞咽障碍、认知功能障碍进行治疗。国内外多家公司包括伟思医疗，Neuronetics，Brainsway等公司已经推出相关产品。
BrainCo 强脑科技在 2019 年推出世界上第一款可以意识控制每一根手指的非侵入式智能仿生手后，在今年再次推出一款适合不同伤残等级的仿生腿产品。根据公司介绍，这款产品每秒可提取 2 万个肌电神经电数据，因此能快速、准确地识别用户意图，并根据环境、肌肉情况调整步态防止摔倒，实现高仿生体验，还能够支持攀岩、涉水等多种复杂操作，为残障人士创造高品质生活，拓展了脑机接口技术在义肢方向的应用。
应用场景2：消费电子与 AIoT 领域展开消费端应用。脑机接口技术可以与消费产品相结合，提供更直觉交互体验。早在 2014 年，加难道公司Thalmic Labs 就推出了一款臂带式控制器 Myo，通过感知肌肉的生物电活动，可以让使用者只需要动动手指就可以无线控制身边的计算机和其他数字产品。随着技术的持续升级，当前臂带式控制器可以实现通过识别活动意念带来的电流进行控制，意念打字、意念操作玩具等已经不是幻想。
在脑机接口的支持下，游戏玩家可以用意念来控制 VR 界面的菜单导航和选项控制，获得了独立于传统游戏控制方式之外的新的操作体验；同时人们也可以用意念控制开关等，甚至控制家庭服务机器人，实现全新意义上的智能家居。
渗透率或随 AR 及其他可穿戴产品普及持续提升。当前更加简单形式的控制，比如眼动追踪摄像头、触摸控制等或限制脑机接口交互需求。我们认为未来随着一系列可穿戴设备比如 AR 眼镜的普及，以及元宇宙的持续建设，基于脑机接口技术的消费电子产品渗透率将持续提升。
应用场景3：实现大脑强化，运用于国防军事领域 2020 年美国兰德公司发布了一份名为《脑机接口：美国军事应用和意义的初步评估》（Brain-Computer Interfaces: U.S. Military Applications and Implications）的报告，指出虽然存在一定风险，“脑机接口”很可能在改进未来作战中提供相应的支持，脑机接口在军事 领域用途包括保证更高效和保密的军事通信、提高决策速度与准确性，允许操作员同时控 制多个平台等。
进行更高效和更保密的军事通信。2019 年，DARPA（美国国防部高级研究计划局）就选择了6个团队来开发N3神经技术研究计划，旨在为美国军方提供高精度的双向脑机接口系统，使服役人员能够与计算机系统进行通信。未来若脑机接口用于军事通信的技术获得成功，将颠覆现有通信技术的运转模式。此前的通信解密都是在得到对方通信信号的基础上，依据共同、公开的技术知识进行解密。理论上只要有足够的时间，任何加密算法都可以被破译。而脑机接口通信可能在双方的主体意识尚未明确时就已经完成;所以，不仅通信信号难以得到，即使得到信号，也缺乏解密所需的技术知识。
脑机接口或用于处理大量数据来提高决策效率。未来作战中，智能设备、士兵穿戴式传感器和无人机可向士兵提供大量的行动数据，大量的信息融合将增加决策的复杂性。通过脑机接口能够使得机器与人之间连通性增强，促进数据在作战人员和决策者之间快速而广泛地流动，使得相互连接的军事系统能够顺利运行。同时人工智能工具可能融入决策流程，帮助人类作战人员评估环境，管理数据，并最终消化更大容量的信息。
▲全球主要脑机接口公司
智东西认为，人机交互是人类通往元宇宙的入口，借助于自然用户界面，AR/VR带来了远远高于图形化展示更自然的交互模式，也是最有望实现元宇宙的第一个入口。但长远来看，脑机接口才是元宇宙入口的真正形态，而其中的非侵入式脑机接口在未来或许成为元宇宙入口的一张“王炸”。
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。