在现代深度学习的早期，科学家们常常把大脑当作人工智能的灵感来源。例如，海马回放现象——大脑排练并复现过去经验的过程——为如何通过记忆来学习提供了一个模板。同时，时间差分学习的研究表明，某些多巴胺神经元对奖励预测错误的反应紧密关联，这为强化学习提供了框架。
2013年，DeepMind在雅达利游戏上的突破可能代表了大脑启发的AI发展巅峰。其系统利用了类似海马回放和基于多巴胺的学习模型。DeepMind的CEO曾在公开场合发表演讲，提到其目标是“构建基于神经科学的通用人工智能系统”。
然而，到了2020年左右，人工智能领域的研究者们开始意识到由海量计算和数据驱动的通用方法比基于大脑细节设计的系统更加有效。基于变换器架构的语言建模——这种架构与大脑的结构关系较小——展示了如何通过大规模训练来提升AI性能。尽管我们对神经科学的理解仍然有限，但这并未帮助我们进一步发展大脑启发的人工智能。
我认为，大脑或许还有更多值得我们借鉴的地方。现代人工智能研究聚焦于三个核心要素：架构、学习规则和训练信号。前两项，即如何从简单的信息中构建复杂模式，以及如何从错误中学习，已经被人工智能大幅掌握。然而，如何通过训练信号（通常被称为“损失函数”或“奖励”）来驱动学习，依然是一个未被充分探讨的课题。在这方面，神经科学或许能为我们提供更多的见解。
自2016年人工深度学习的突破以来，我认为大脑可能拥有许多由进化所建构的专门代价函数，这些函数有助于大脑皮层的不同部分学习生存所需的知识。
近期，物理学家兼人工智能安全研究员史蒂夫·伯恩斯为大脑如何自我训练提出了新见解。他通过对神经科学文献的全面梳理，提出大脑可以被视为由两个相互作用的系统组成：学习子系统和引导子系统。学习子系统负责通过生活经验来学习新事物，它类似于人工神经网络。引导子系统则更为固定，负责设定目标、优先级和奖励信号，从而塑造学习的内容。
伯恩斯的研究表明，人工智能对齐的关键在于理解大脑如何通过引导子系统和学习子系统的协作来塑造行为。这一观点可能对未来的人工智能研究带来深远影响。
大脑的两大系统
根据伯恩斯的理论，大脑主要由学习子系统和引导子系统构成。学习子系统包括新皮层、海马、小脑和纹状体等，它们共同负责构建世界模型、制定行动计划，并预测这些计划的后果。刚出生时，这些区域的功能尚未发育完全，但它们随着经验积累，能够逐步发现世界中的模式，并从中提取出更为抽象的规律。
这一观念与神经科学中的“皮层一致性”理论相符：新皮层负责处理大部分复杂认知任务，但其结构相对简单，更多的是通过经验进行自我调整。皮层可以被视为一台学习机器，具有通过训练生成复杂思维的潜力。
与之相对的是引导子系统，包括下丘脑和脑干等部分。这些区域在一生中是相对固定的，负责设定行为的目标和奖励信号。不同于学习子系统的高度可塑性，引导子系统的规则是由进化早期编程的，并且这些规则可以塑造学习子系统的行为方向。
引导子系统与奖励信号
引导子系统通过奖励信号来塑造行为，而这些信号并不仅仅是为了生存或繁殖的目的。它们不仅帮助动物学习如何获得食物和生存所需的资源，还促进更复杂的行为，例如玩耍、探索和社交互动。人类的社交能力、模仿行为以及对伴侣的吸引等都受到引导子系统的影响。
进化使得每个物种的引导子系统都根据其生态位的需求来设计奖励信号。例如，人类的大脑会特别关注同伴的面孔和行为，而鸟类则会通过奖励信号学习如何跟随父母。
为了产生有效的奖励信号，引导子系统需要依赖大脑的感官系统。我们通常认为视觉皮层负责处理视觉信息，但实际上，视觉系统在大脑中的许多部分之间进行信息处理。上丘是一个关键区域，负责捕捉一些原始的视觉信号，为引导子系统提供反应的基础。
社会行为与符号化问题
伯恩斯的理论中最引人注目的部分，是他对引导子系统如何利用学习子系统发现的模式来生成奖励信号的解释。例如，当一个人犯错时，可能会感到羞愧，而这一情感来源于引导子系统的反应。尽管羞耻、尊重等抽象概念无法被引导子系统直接理解，但它通过思维评估者的机制，能够与学习子系统中学到的概念产生关联。
思维评估器的作用
伯恩斯提出，大脑中存在思维评估器，它们能够评估和预测学习子系统的输入，并根据这些输入向引导子系统提供奖励信号。这些评估器的作用不仅限于简单的行为反应，它们还能够处理更复杂的社会互动和抽象概念。
例如，在笑的过程中，思维评估器会根据社会环境和情境变化，调整笑的反应模式。这一过程能够帮助大脑在社会行为中找到合适的反应策略，增强社交互动的积极性。
对人工智能的启示
伯恩斯的研究不仅深化了我们对大脑的理解，还为人工智能的对齐问题提供了新的视角。他认为，要实现类脑的通用人工智能系统，必须结合学习子系统与引导子系统的设计。学习子系统需要具备持续强化学习的能力，而引导子系统则需负责提供合适的奖励信号，以促进人工智能的社会化和亲社会动机发展。
伯恩斯的研究表明，通过借鉴大脑的自我引导机制，我们可能能够设计出更加灵活、能够进行持续学习和对齐的人工智能系统。
对人类社会行为的启发
从神经科学角度看，伯恩斯的模型不仅对人工智能有意义，它还为我们理解人类的社会行为提供了新的视角。许多精神疾病，如成瘾、抑郁症等，可能与大脑中引导子系统的功能失调有关。通过进一步研究这些机制，我们或许能够为解决这些问题提供新的治疗思路。
总的来说，伯恩斯的研究提出了一种全新的大脑模型，通过学习和引导子系统的合作，解释了社会行为和学习过程的复杂性。这一理论不仅对神经科学有重要启示，也为人工智能的对齐和发展提供了宝贵的经验。
本文译自：asteriskmag，由olaola编辑发布
封面图片：unsplash