作者 | 智商掉了一地、ZenMoore 试想一下，在未来某个清晨，你坐在充满科技感的餐厅中，厨师和服务员已被智能机器取而代之，仅用佩戴一个能够解读大脑信号的设备，就能让机器人厨师根据你所想进行配菜、煮饭。
也许上一次聊起这个场景，还是在科幻电影或科幻小说中。但目前有研究团队将这一畅想联系生活，通过实验初步呈现了这幻想中的场景，也许在未来某一天，这样的科幻场景会出现在我们每个人的生活中。
在本篇文章中，研究者提出了神经信号操作智能机器人（NOIR），这是一个通用的大脑-机器人接口（BRI）系统，使人类可以通过大脑信号来命令机器人执行日常活动。通过这个接口，人们可以使用非侵入性脑电图（EEG）技术来传递他们感兴趣的目标和行动，从而与机器人进行交互。
实验表明，该系统在 20 项具有挑战性的日常家务活动中取得了成功，包括烹饪、清洁、个人护理和娱乐等各种活动。系统的有效性大大提升，因为它协同集成了机器人学习算法，使 NOIR 能够适应用户个体并预测他们的意图。
这意味着系统可以根据不同用户的需求和行为习惯进行自适应，从而提供更个性化和高效的服务。可以说，这项工作改进了人与机器人的互动方式，将传统的互动渠道替换为直接的神经通信。
论文题目:
NOIR: Neural Signal Operated Intelligent Robots for Everyday Activities
论文链接:
https://openreview.net/pdf?id=eyykI3UIHa
项目地址:
https://noir-corl.github.io/
研究动机
大脑-机器人接口（BRI）代表着艺术、科学和工程领域的巅峰成就，其目标是创造能够与人类完美协同合作的机器人系统。为实现这一愿景，其中的关键组成部分就是机器人系统与人类的直接大脑信号通信，这是个令人激动但具有挑战性的研究课题。
作者希望借助机器学习、神经科学和机器人学习的最新研究进展，构建新型的 BRI 系统，以用于我们的日常生活中。
NOIR 系统
本文尝试解决以下几项挑战：
- 如何构建通用的 BRI 系统，从而适用于各种任务
- 如何从人类大脑中解码相关的通信信号
- 如何使机器人更加智能和适应性强，以实现更高效的协作
NOIR 系统概述如图 1 所示，有两个组成部分：
- 用于解码人类大脑信号中目标的模块化流程
- 一个具有基本技能库的机器人系统
机器人具有学习预测人类预期目标的能力，从而减少了解码所需的人力。
▲图1 NOIR 的组成部分
从脑电图解码人类意图
NOIR 使用模块化流程来解码从脑电图信号中获取的人类预期目标：
- What：从稳态视觉诱发电位（SSVEP）信号中解码要操作的对象，使用典型相关分析（CCA）分类器；
- How：如何与对象互动？使用常用空间模式（CSP）+二次判别分析（QDA）算法从运动意象（MI）信号中解码；
- Where：从 MI 信号中解码互动的位置;
- 还使用一个通过下颌咬合捕捉肌肉紧张度的安全机制，来确认或拒绝解码结果。
▲图2 从脑电图信号解码人类预期目标的模块化流程
具有参数化基本技能的机器人
人类的意图可以映射到 14 个参数化的机器人技能，例如拾取 、放置 和推动 。人们可以发现新的用途并结合这些技能完成困难的任务。
用于更高效 BRI 的机器人学习
解码人类的意图要耗费大量时间和资源。然而，由于机器人在相似的情境中执行相同任务，因此它们可以通过小样本来学习人类的对象、技能和参数选择，从而可以降低人类需要投入的努力和时间。
检索式小样本对象和技能选择
检索式小样本对象和技能选择模型如图 3 所示。它学习了观察的隐表示。给定一个新的观察，它会在记忆中找到最相关的经验，并选择相应的技能和对象。
▲图3 检索式小样本对象和技能选择模型
单样本技能参数学习
单样本技能参数学习算法如图 4 所示，它在给定训练图像中的参考点的情况下，在测试图像中找到语义上对应的点。
▲图4 单样本技能参数学习算法
实验和结果
使用 NOIR，3 名人类参与者（2 男 1 女）完成了 20 项长期任务（4-15 项技能）的日常活动。16 项活动（第2-17 项）是使用 Franka 的桌面操作任务， 4 项活动（第 18-21 项）是使用 Tiago 的移动操作任务。这些任务包括 8 项做饭任务，6 项清洁任务，3 项个人护理任务和 3 项娱乐任务。
▲图5 NOIR 允许人们使用他们的大脑信号（1）来控制机器人执行日常活动，如制作 Sukiyaki（2）、熨烫衣服（7）、与朋友玩井字棋（17）以及抚摸机器狗（21）
任务视频（8 倍速，省略解码周期）
实验结果
平均每项任务需要 1.8 次尝试才能成功，任务完成时间为 20.3 分钟。如表 1 所示，只需少量尝试，所有用户都能完成这些具有挑战性的任务。
▲表1 NOIR 系统性能
不同阶段的实验解码准确率如表 2 所示。就像几乎所有的 BRI 研究一样，解码时间和准确率是关键挑战。
▲表2 实验不同阶段的解码准确率
如图 6 所示，通过机器人学习算法，对象和技能选择学习将解码时间缩短了 60％，参数学习将光标移动距离缩短了 41％。
▲图6
Q&A
1. 使用脑电图安全吗？长时间使用是否存在潜在的风险或副作用？
脑电图（EGG）设备一般来说是安全的，特别是与植入设备这样的侵入性设备相比，没有已知的副作用和风险。作者使用盐水溶液来降低电阻和提高电导率。然而长时间使用时，该溶液可能会导致轻微的皮肤刺激，因此将其与婴儿洗发水混合以减轻这一问题。
2. 系统如何确保用户安全，尤其是在在现实世界中各种环境和不可预测事件的背景下？
在作者 100% 解码准确率的基础上，还实现了一个由脑电图控制的安全机制，即通过下颌咬合解码的肌肉紧张度，来确认或中断机器人动作。然而，当前的实现方式在中断机器人动作时存在 500 毫秒的延迟，这可能会导致在更具动态性的任务中存在潜在风险。通过使用更短的解码窗口进行更多的训练数据，可能会使该问题得到缓解。
3. EEG / NOIR 可以适用于不同的人吗？鉴于论文只在三个人身上进行了测试，作者如何证明研究结果的一般适用性呢？
本文研究中使用的脑电图设备是多功能的，既适合成人，也适合 5 岁的儿童。该设备配有不同尺寸的传感器网，确保了不同头部尺寸的兼容性。并且解码方法经过详细设计，考虑了多样性和包容性，借鉴了两个显著的脑电图信号：稳态视觉诱发电位和运动意象。这些信号已在广泛的个体中表现出有效性。
然而，NOIR 系统的界面是纯粹的视觉式，因此不适合严重视觉障碍的人。
4. 脑电图是否可以在实验室外使用？
尽管移动脑电图设备更便携，但它们通常具有相对较低的信噪比。在脑电图信号中存在各种噪声源，包括肌肉运动、眼球运动、电力线和其他设备的干扰。这些噪声源存在于实验室内外；因此，尽管作者选择实施基于经典统计学的健壮解码技术，但为了在更混乱的环境中取得成效，需要更强大的进一步滤除技术，以减轻这些不需要的干扰，并精确提取有意义的信息。
5. 系统如何区分用于任务执行的有意识的大脑信号和其他无关的大脑活动？如何解决潜在的隐私和安全问题？
本文的解码算法旨在专门捕捉与任务相关的信号，以确保排除任何无关信息。遵守数据隐私的原则和人体研究的机构审查委员会(IRB)设定的指南，在每次实验结束后，在校准和实验期间从参与者收集的数据将被及时删除。只有解码后的信号，经过去除任何识别信息，才被保留供进一步分析。
6. 机器人系统的可扩展性如何？是否可以轻松适应不同的机器人平台，或者扩展到适应更广泛的任务，而不是测试的 20 个家庭活动?
目前看来有两个显著的限制：
- 解码速度：限制了任务的范围，限于不涉及时间敏感和动态交互的任务。然而，解码准确率的提高和解码窗口时间的缩短可能最终解决这一限制。这些改进可以通过利用更大的训练数据集和基于机器学习的解码模型来实现，利用脑电图提供的高时间分辨率。
- 基本技能的可用性：开发全面的基本技能库是机器人研究领域的长期目标。这需要创建一个可适应并结合起来处理新任务的基本能力库。此外，研究结果表明，人类用户具有创新和设计现有技能的新应用来完成任务的能力，类似于人类使用工具的方式。
7. 残疾人如何从这个 BRI 系统中受益？
未来像 NOIR 这样的系统潜在应用广泛且多样化。其中一个显著的领域是帮助残疾人，特别是那些行动不便的人。通过使这些个体能够完成日常生活和日常生活中的工具活动，系统可以极大地增强他们的独立性和整体生活质量。
目前，正常个体可能会发现 BRI 流程存在一个学习曲线，导致在最初的几次尝试中，与自己在日常活动中的表现相比效率低下。然而，随着时间的推移，机器人学习方法有望解决这些低效率问题，并使机器人能够在需要时帮助用户。
总结
作者在本文中提出了神经信号操作智能机器人（NOIR），这是一种全新的、智能化的脑机接口系统，它让人们通过脑电图信号指导机器人完成日常活动。
想象一下，我们今后或许可以通过简单的思考，让机器人来烹饪美食、清洁家居、个人护理或者进行娱乐活动，就有些期待呢。
这项创新的技术用直接的神经通信取代了传统的交互方式，这项具有开创性的努力为人机交互提供了全新的视角，同时也提出了有关其局限性和潜在伦理风险的问题。在 NOIR 系统推出后，希望能够引起更多相关的研究，期待我们可以在不久之后实现更高效、更智能的生活方式~
