「反向传播」一定要在生物学上有对应?谷歌研(2)
【作 者】:网站采编
【关键词】:
【摘 要】:Eric Jang 认为,很多研究者之所以还没理解这个观点(即我们应该用元学习方法来模拟生物学可信的回路),是因为目前算力还不够强,无法同时训练元学
Eric Jang 认为,很多研究者之所以还没理解这个观点(即我们应该用元学习方法来模拟生物学可信的回路),是因为目前算力还不够强,无法同时训练元学习器和学习器。要想制定元优化方案,我们还需要强大的算力和研究基础设施,但 JAX 等工具的出现已经让这一任务变得简单得多。
真正的生物学纯粹主义者可能会说,利用梯度下降和反向传播寻找学习规则不是一种「进化上可信的学习规则」,因为进化明显缺乏执行动态规划甚至是梯度计算的能力。但如果使元学习器在进化上可信,这一点就能得到修正。例如,用来选择优秀函数逼近器的机制其实根本不需要依赖反向传播。相反,我们可以制定一个元 - 元问题,让选择过程本身遵守进化选择的规则,但是选择过程还是使用反向传播。
所以,不要再给反向传播赋予生物学意义了!
原文链接:
文章来源:《中国病原生物学杂志》 网址: http://www.zgbyswxzz.cn/zonghexinwen/2021/0301/475.html