深度学习的几何学解释
发布时间:2023-09-27
点击次数:
- 影响因子:
- 1.752
- 所属单位:
- 中国CAE战略研究中心;中国高等教育出版社
- 发表刊物:
- Engineering
- 刊物所在地:
- 北京市
- 关键字:
- 生成;对抗;深度学习;最优传输;模式崩溃
- 摘要:
- 本文从几何角度来理解深度学习,特别是提出了生成对抗网络(GAN)的最优传输(OT)观点。自然数据集具有内在的模式,该模式可被概括为流形分布原理,即同一类高维数据分布于低维流形附近。GAN主要完成流形学习和概率分布变换两项任务。其中,后者可以用经典的OT方法来实现。从OT的角度来看,生成器用于计算OT映射,而判别器用于计算生成数据分布与真实数据分布之间的Wasserstein距离;两者都可以归结为一个凸优化过程。此外,OT理论揭示了生成器与判别器之间的内在关系是协作的而不是竞争的,并且解释了模式崩溃的根本原因。在此基础上,我们提出了一种新的生成模型,该模型利用自编码器(AE)进行流形学习,并利用OT映射进行概率分布变换。这个AE-OT模型提升了深度学习理论的严谨性和透明性、提高了计算的稳定性和效率,尤其是避免了模式崩溃问题。实验结果验证了我们的假设,并充分展示了我们提出的AE-OT模型的优点。
- 合写作者:
- 安东生,郭洋,刘世霞,罗钟铉,丘成桐,顾险峰
- 第一作者:
- 雷娜
- 论文类型:
- 期刊论文
- 通讯作者:
- 苏科华
- 文献类型:
- J
- 卷号:
- 6
- 期号:
- 3
- 页面范围:
- 340-370
- ISSN号:
- 2095-8099
- 是否译文:
- 是
- CN号:
- 10-1244/N
- 发表时间:
- 2020-03-15
- 收录刊物:
- SCI、EI
- 发布期刊链接:
- www.elsevier.com/locate/eng