深度學習理論是當下研究的熱點之一。最近來自UIUC計算機助理教授Sun Ruoyu撰寫一篇深度學習最優化理論和算法的綜述論文，共60頁257篇文獻，概述了神經網絡的優化算法和訓練理論《Optimization for deep learning: theory and algorithms》，并得到眾多大佬的推薦，比如模仿學習帶頭人加州理工Yisong Yue，歡迎大家閱覽，需要一番數學理論功底，方能扛過。