科学家在强大的人工智能变压器模型中发现了生物回声

电子神经网络是人工智能研究的关键概念之一，自诞生以来就从生物神经元中汲取灵感——正如其名称所证明的那样。新的研究表明，具有影响力的人工智能变压器架构也与人类神经生物学有着意想不到的相似之处。

在一项合作研究中，科学家提出生物星形胶质细胞神经元网络可以模仿变形金刚的核心计算。或相反亦然。该研究结果由麻省理工学院、麻省理工学院-IBM 沃森人工智能实验室和哈佛医学院联合报道，本周发表在《美国国家科学院院刊》杂志上。

星形胶质细胞-神经元网络是大脑中的细胞网络，由两种类型的细胞组成：星形胶质细胞和神经元。星形胶质细胞是支持和调节神经元的细胞，神经元是发送和接收电脉冲的脑细胞。他们的活动基本上是思考。星形胶质细胞和神经元通过化学物质、电流和触觉相互交流。



另一方面，2017 年首次推出的 AI Transformer 是 ChatGPT 等生成系统背后的基础技术之一。——事实上，这就是 GPT 中“T”的来源。与顺序处理输入的神经网络不同，变压器可以通过称为自注意力的机制直接访问所有输入。这使他们能够学习文本等数据中复杂的依赖关系。 

研究人员重点关注三方突触，三方突触是星形胶质细胞在发送信号的神经元（突触前神经元）和接收信号的神经元（突触后神经元）之间形成连接的连接点。 

他们利用数学模型证明了星形胶质细胞随时间的信号整合如何为自我注意力提供所需的空间和时间记忆。他们的模型还表明，可以利用星形胶质细胞和神经元之间的钙信号传导来构建生物变压器。TL;DR，这项研究解释了如何构建有机变压器。

罗格斯大学计算机科学副教授康斯坦丁诺斯·米奇米佐斯 (Konstantinos Michmizos) 告诉麻省理工学院：“在一个多世纪的大脑记录中，星形胶质细胞一直保持电沉默，是大脑中最丰富但探索较少的细胞之一。”我们大脑另一半的计算能力是巨大的。”

该假说利用了新的证据，表明星形胶质细胞在信息处理中发挥着积极的作用，这与之前假设的管家功能不同。它还概述了 Transformer 的生物学基础，它可以在促进生成连贯文本等任务方面超越传统的神经网络。

如果经过实验验证，所提出的生物转化器可以为人类认知提供新的见解。然而，人类和需要大量数据的变压器模型之间仍然存在巨大差距。虽然变形金刚需要大量的训练数据集，但人类大脑可以在适度的能量预算下将经验有机地转化为语言。

尽管神经科学和人工智能之间的联系提供了洞察力，但理解我们思维的复杂性仍然是一个巨大的挑战。生物联系只是这个难题的一小部分——解开人类智能的复杂性需要跨学科的持续努力。神经生物学如何实现近乎魔法仍然是科学最深的谜团。