清华光学AI登Nature!物理神经网络,反向传播不需要了(清华大学脑神经科学)

AIGC动态欢迎阅读

原标题:清华光学AI登Nature!物理神经网络

,反向传播不需要了

关键字:神经网络,系统,方法,梯度,光子

文章来源:量子位

内容字数:0字

内容摘要:

一水 发自 凹非寺量子位 | 公众号 QbitAI用光训练神经网络,清华成果最新登上了Nature!

无法应用反向传播算法怎么办?

他们提出了一种全前向模式(Fully Forward Mode,FFM)的训练方法,在物理光学系统中直接执行训练过程,克服了传统基于数字计算机模拟的限制。

简单点说,以前需要对物理系统进行详细建模,然后在计算机上模拟这些模型来训练网络。而FFM方法省去了建模过程,允许系统直接使用实验数据进行学习和优化。

这也意味着,训练不需要再从后向前检查每一层(反向传播),而是可以直接从前向后更新网络的参数。

打个比方,就像拼图一样,反向传播需要先看到最终图片(输出),然后逆向一块块检查复原;而FFM方法更像手中已有部分完成的拼图,只需按照一些光原理(对称互易性)继续填充,而无需回头检查之前的拼图。

这样下来,使用FFM优势也很明显:

一是减少了对数学模型的依赖,可以避免模型不准确带来的问题;二是节省了时间(同时能耗更低),使用光学系统可以并行处理大量的数据和操作,消除反向传播也减少了整个网络中需要检查和调整的步骤。

论文共同一作是来自清华的薛智威、周天贶,通讯作者是清

原文链接:清华光学AI登Nature!物理神经网络,反向传播不需要了

联系作者

文章来源:量子位

作者微信:

作者简介:

0
分享到:
没有账号? 忘记密码?