2作者: HenryAI4 个月前原帖
我撰写了一本关于无限维希尔伯特空间中随机梯度方法的免费、完整的专著。该专著从泛函分析的基础(Riesz、Radon–Nikodym)入手,给出了随机梯度的五个等价定义,证明了动态系统的存在性和唯一性,将连续极限与梯度流偏微分方程联系起来,并在多种假设条件下(凸、强凸、PL/KL、重尾噪声、近端)推导出明确的收敛速率。它还涵盖了特殊情况(高斯/RKHS),扩展到希尔伯特流形/巴拿赫空间,分析了离散化(稳定性/一致性),并包括了四个应用(量子力学基态、弹性、最优控制、逆问题),附有伪代码和明确的常数。最后的开放问题部分欢迎反馈。PDF文件可在引用的情况下自由传播。 如果您对无限维空间中实际需要的假设、谱图如何影响收敛速率以及在希尔伯特结构之外的破坏因素有任何疑问,我很乐意回答。如果您想快速入门,可以浏览收敛总结和应用部分。