最優化理論基礎、線搜索技術、最速下降法和牛頓法、共軛梯度法、擬牛頓法（BFGS、DFP、Broyden族算法）、信賴域方法、非線性最小二乘問題（Gauss-Newton、Levenberg-Marquardt）、最優性條件（等式約束問題、不等式約束問題、一般約束問題、鞍點和對偶問題）、罰函數法（外罰函數、內點法、乘子法）、可行方向法（Zoutendijk可行方向法、梯度投影法、簡約梯度法）、二次規劃（等式約束凸二次規劃、一般凸二次規劃）序列二次規劃（牛頓-拉格朗日法、SQP方法）