学习园地
DL and the Brain: Does the Brain Approximate Backpropagation? - Timothy Lillicrap
时间: 2020-08-14     作者:


    深度学习中的BP算法在大脑中一直被认为不存在。但大脑中或许有类似BP的生物方法?Tim是Hinton团队的成员,听听他的看法。这是在CMU的一个讲座,讨论部分更精彩!



    Tim认为虽然过去脑科学为AI提供了许多启示,但AI的发展如此之快,已经在一些方面超越了大脑,尤其在微观方面,脑科学的研究或许可以开始鉴借AI的成果。不过他的这一观点遭到不同意见(@52:00)。对于Reward Setting的讨论反映出强化学习RL离人类的行为还相差甚远(@1:06:40),其实强化学习也存在灾难性遗忘瓶颈。对于听众提出的类脑神经网络是否可优于ANN的问题(@1:13:30),大家也发表了不同的看法。AI中的BP算法是一种全局学习法则,而神经系统采用局部学习方式一定有其深刻的原因,只是至今还不是很清楚其意义。

    脑与AI相互交叉式的发展看来还要继续相当长的一段时间,等待人们去探索和发现。