原作：普利瑟姆
/Gemini翻译/
人类大脑通常被称为已知宇宙中最复杂的物体，是连接性和功能性的奇迹。大脑由数十亿个神经元组成，每个神经元都有可能与数千个其他神经元相连，因此大脑的网络既庞大又复杂。
深度神经网络，特别是transformers的兴起无疑彻底改变了自然语言处理、计算机视觉，甚至某些神经科学分支等领域。它们提供了前所未有的准确性，并取得了以前被认为几乎不可能的成就。
然而，当我们深入理解复杂系统，特别是人脑时，我们越来越意识到：尽管这些网络很强大，但它们可能无法捕捉到此类系统的全部本质。
大脑的网络：超越局部连接
理解大脑的核心在于绘制和解释其庞大连接网络的挑战。虽然许多神经元与其直接相邻的神经元进行通信，但也有相当数量的神经元形成远程连接，连接大脑的远端区域。这些连接不仅仅是补充性的；它们是大脑整合功能的基础。
经典拉普拉斯算子是一种用于对当前中性架构进行建模的数学工具，主要考虑局部交互。在脑的背景下，这类似于仅关注相邻神经元之间的交互，而忽略了更广泛的远程通信。虽然这可能适用于某些系统，但大脑的多方面网络需要一种更全面的方法。
当前神经架构的局限性
深度神经网络和转换器在本质上都是建立在互连节点的层之上。每个节点的输出由其直接输入决定，就像经典拉普拉斯算子专注于局部交互一样。虽然这种架构擅长捕获某些模式和关系，但它可能无法处理大脑等复杂系统中固有的非局部交互和远程依赖性。
具有注意力机制的Transformers在解决数据中的远程依赖性方面肯定取得了进展，但我们这里不讨论分布式语义。
注意力帮助我们关注相邻单词对当前单词位置的影响，以推导出上下文。这在输入嵌入空间中。当我们谈论非局部交互时，我们并不是在谈论这个。我们讨论的是整个神经网络（作为一堆连接的神经元）如何无法学习超出局部交互。
问题仍然存在：
注意力是否足以捕捉定义人脑等系统的那张复杂的非局部交互网？
接受阶阶视角
阶阶拉普拉斯算子提供了一个不同的视角，它本质上重视局部和非局部交互。在人工神经网络领域，这可以转化为以下架构：
- 优先考虑远程依赖关系：阶拉普拉斯算子捕获远距离影响，受其启发的神经架构可以固有地优先考虑远程依赖关系，超越当前注意力机制的能力。
- 异常模式模型：传统神经网络在标准模式下表现出色。然而，现实世界系统，尤其是大脑，通常表现出异常行为。基于分数阶拉普拉斯算子的网络可以更适应和响应这些非常规模式。
- 捕获无标度动力学：许多现实世界网络，包括大脑的某些方面，都显示出无标度特征。受分数阶拉普拉斯算子启发的神经架构可以固有地模拟这种动力学，理解某些节点或区域的不成比例的重要性。
重新思考神经架构
在我当前的人工智能研究领域，我已广泛撰写了关于利用分数拉普拉斯算子的文章。以下论文可以提供有关从何处以及如何开始的见解：
随着我们不断突破人工智能神经网络所能达到的界限，从不同的领域和工具中汲取灵感至关重要。分数拉阶普拉斯算子强调非局部性和无标度动力学，提供了一条有希望的途径。
想象一下不仅能识别模式，还能理解产生这些模式的错综复杂的联系的神经网络。能够适应意外情况并在异常情况下茁壮成长的网络。当我们踏上探索和创新的旅程时，很明显，答案可能在于将前沿技术与基础技术、现代技术与久经考验的技术相结合。
在构建真正理解机器的探索中，现在是分数阶思考的时候了。