原文链接：https://mp.weixin.qq.com/s/fWgRX5aIxiIQjXdhiVe9qg
原创 brainnews创作团队
近日，来自伦敦大学Wolfson生物医学研究所的Michael Hausser教授团队在Neuron 在线发表了题为“Reward signals in the cerebellum: origins, targets, and functional implications”的观点，描述了小脑通过苔藓纤维和攀爬纤维等在不同的途径中产生奖励信号的证据。
尽管目前仍存在争议，小脑长期以来一直被认为在认知功能中发挥作用。最近的研究发现，与奖赏相关的信号在小脑回路中被发现，特别是在涉及小脑皮层、基底节和大脑皮层之间相互作用的目标定向学习任务中。值得注意的是，广泛的奖赏偶发事件（包括奖赏期望、递送、大小和遗漏）可以由特定的环路以反映小脑皮质微区组织的方式进行编码。
研究发现到达小脑皮质的苔藓纤维和攀登纤维输入通路中都观察到了奖赏信号，并且它们的汇聚可能触发浦肯野细胞的可塑性。上述发现巩固了一个新的共识，即小脑在塑造认知过程中起着关键作用，并表明小脑可能会结合监督学习和强化学习来优化目标导向行动。作者对小脑回路如何与基底节协同工作来指导学习的不同阶段进行了具体的预测。
苔藓纤维-颗粒细胞通路中的奖赏信号
Wagner等人的研究发现，苔藓状纤维颗粒细胞通路可以在复杂的行为中向浦肯野细胞传递感觉运动背景和奖赏相关信号（图1B）。颗粒细胞可能能够分离行为并将特定的感觉运动特征与即将到来的奖励结合起来，为浦肯野细胞微区提供了一套更丰富的参数来学习。然后这些学习到的模式组合可以通过特定的模块被发送到各种小脑外目标，将特定的运动协同作用与奖励结果绑定。
图1.小脑回路中特定位置的奖赏信号
攀爬纤维通路中的奖赏信号
最近的几项研究探索了预测性和反馈性的攀爬纤维信号的组织和功能特性，表明它们可以传递关于奖励的学习预测。通过延迟相对于动物运动的奖赏传递，能够区分与感觉运动调制相关的信号与预测性和反应性奖赏相关活动。
重要的是，奖赏信号被组织成明确定义的浦肯野细胞微区(图2B)，可以双向传递奖赏信号：一些微区被激活，而另一些微区被奖赏抑制。
图2.小脑环路和奖赏相关区域之间的解剖联系
攀爬纤维奖励信号可用于学习
研究表明，攀爬纤维输入小脑半球多个小叶中的浦肯野细胞可以编码奖励预测的感觉线索。当动物学习到哪些感觉和运动任务参数导致奖励时，预测性奖励信号就会出现，而当奖励是可预测的时，奖励反应就会被抑制。这些都是时差强化学习信号的显著特征，与中脑多巴胺神经元的奖赏相关活动相似。
不同途径的奖赏信号
是如何在浦肯野细胞中汇聚的？
传递功能相似信息的苔藓纤维和攀爬纤维输入汇聚在单独的微区。最新的研究证明了浦肯野细胞的简单尖峰率在学习新的视觉运动联想期间编码了一个强化错误信号，报告了动物在短时间内做出的最新决定的结果，他们将其称为“三角洲时期”(图1D)。浦肯野细胞作为一个群体保持了上次试验结果的工作记忆，可以用来指导随后的决定。
小脑奖赏信号从哪里来
又去了哪里？
小脑回路和中脑多巴胺能神经元之间存在直接联系，也有证据表明大脑中典型的奖赏处理神经元，以及通过基底神经节和皮层奖赏处理回路的间接连接。这些途径为奖励系统提供了直接影响小脑功能的机会，以及在将奖励信号传递到小脑之前对奖励信号进行更高层次处理的机会。
在学习模型的背景下
解释小脑奖赏信号
在学习的早期阶段，奖励系统可以帮助小脑构建准确的模型，将成败映射到感官预测上(图3A)。小脑的内部模型可以将这些特定动作的可靠预测信号传递给基底神经节，帮助强化这些动作(图3B)。这种增加的可变性导致了偶尔的奖励，允许基底神经节提醒小脑应该再次更新内部模型(图3C)。
随着这些新的感觉运动偶发的学习，小脑产生新的强大的动作预测信号，在这种新的意外情况下获得的奖励变得可预测(图3D)。如果恢复了最初的感觉运动偶发状态，健康小鼠的适应行为会暂时保持(图3E)。
图3.小脑-基底节在不同学习阶段的相互作用
奖赏信号作为小脑在认知中作用的基础
最近发现的解剖路径(图2A)不仅将小脑置于运动和感觉系统之间的连接处，而且与大脑皮层的所有区域以及基底节都具有密集的相互连接。最近的研究发现，小脑奖赏信号可能有助于强化学习，这表明小脑可能有助于选择最有价值的动作，并共同确保该动作在广泛的行为中正确执行。因此，对小脑奖励信号的新关注可能会导致对由许多大脑区域调节的学习机制的新见解。
参考文献Kostadinov and H€ausser, Reward signals in the cerebellum: origins, targets, and functional implications, Neuron (2022), https://doi.org/10.1016/j.neuron.2022.02.015
