[本文链接：http://blog.csdn.net/shanglianlm/article/details/45919679，转载请注明出处]

最近开始对凸优化(convex optimization)开始感兴趣，接下来我会写一系列关于凸优化(convex optimization)的内容。

1. 对偶上升法(Dual Ascent) 和 对偶分解法(Dual Decomposition)

在介绍ADMM之前我们首先介绍两种优化算法：对偶上升法(Dual Ascent) 和 对偶分解法(Dual Decomposition)。

1.1 对偶上升法(Dual Ascent)

设有如下优化问题：
$$\text{min}f(x)\text{s.t. }Ax=b\text{(1)}$$
它的拉格朗日形式为：
$$L(x,\lambda )=f(x)+{\lambda }^T(Ax-b)\text{(2)}$$
对偶形式为：
$$g(\lambda )={\text{inf}}_{x}L(x,\lambda )=-f^{\ast }(-A^T\lambda )-b^T\lambda \text{(3)}$$
其中 $f^{\ast }$ 是 f 的共轭函数。
对偶问题为：
$$\text{max}g(\lambda )\text{(4)}$$

对偶上升法的迭代更新为：
$$x^{k+1}={\text{argmin}}_{x}L(x,{\lambda }^k)\text{(5)}\text{x-最小化}$$ $${\lambda }^{k+1}={\lambda }^k+{\alpha }^k(A{x}^{k+1}-b)\text{(6)}\text{对偶变量更新}$$
其中${\alpha }^k>0$是步长。

1.2 对偶分解法(Dual Decomposition)

假设目标函数是可以分解的，即
$$f(x)=\sum _{i=1}^N{f}_i(x_i)\text{(7)}$$
因此，拉格朗日函数可以改写为：
$$L(x,\lambda )=\sum _{i=1}^N{L}_i(x_i,\lambda )=\sum _{i=1}^N(f_i(x_i)+{\lambda }^T{A}_i{x}_i-(1/N){\lambda }^{T}b)\text{(8)}$$
所以它的迭代更新为：
$$x_i^{k+1}={\text{argmin}}_{x_i}{L}_i(x_i,{\lambda }^k)\text{(9)}$$ $${\lambda }^{k+1}={\lambda }^k+{\alpha }^k(A{x}^{k+1}-b)\text{(10)}$$

2. 增广拉格朗日(Augmented Lagrangians)和乘子法(Method of Multipliers)

接着我们引入增广拉格朗日(Augmented Lagrangians)和乘子法(Method of Multipliers)。

2.1 增广拉格朗日(Augmented Lagrangians)形式

为了增加对偶上升法的鲁棒性和放松函数f的强凸约束，我们引入增广拉格朗日(Augmented Lagrangians)形式：
$$L_{\rho }(x,\lambda )=f(x)+{\lambda }^T(Ax-b)+(\rho /2)||Ax-b|{|}_2^2\text{(11)}$$
其中惩罚因子$\rho >0$。
与 (2) 式相比，(11) 式只是增加了一个惩罚项，

2.2 乘子法(Method of Multipliers)

对应于的迭代公式为：
$$x^{k+1}={\text{argmin}}_x{L}_{\rho }(x,{\lambda }^k)\text{(12)}$$ $${\lambda }^{k+1}={\lambda }^k+\rho (A{x}^{k+1}-b)\text{(13)}$$
我们称之为乘子法(Method of Multipliers)。

将拉格朗日应用于对偶上升法可以极大地增加它的收敛属性，但是它要求一些代价。当f可以分解，而拉格朗日$L_{\rho }$不能分解的，因此 (13) 式不能对每个$x_i$并行最小化。这意味着乘子法不能被用来分解。

3. ADMM(Alternating Direction Method of Multipliers)

如前文所述，ADMM是一个旨在将对偶上升法的可分解性和乘子法的上界收敛属性融合在一起的算法。

2.1 具体描述

设有如下优化问题：
$$\text{min}f(x)+g(z)\text{s.t.}Ax+Bz=c\text{(14)}$$
如同乘子法中一样，我们获得它的增广拉格朗日形式为：
$$L_{\rho }(x,z,\lambda )=f(x)+g(z)+y^T(Ax+Bz-c)+(\rho /2)||Ax+Bz-c|{|}_2^2\text{(15)}$$
那么它的迭代方式为：
$$x^{k+1}={\text{argmin}}_x{L}_{\rho }(x,z^k,{\lambda }^k)\text{(16)}$$ $$z^{k+1}={\text{argmin}}_z{L}_{\rho }(x^{k+1},z,{\lambda }^k)\text{(17)}$$$${\lambda }^{k+1}={\lambda }^k+\rho (A{x}^{k+1}+B{z}^{k+1}-c)\text{(18)}$$
其中增广拉格朗日参数$\rho >0$。

2.2 优化条件和停止准则

原始残差：$r_{k+1} = Ax^{k+1} + Bz^{k+1} - c < \epsilon^{\text{primal}} $
对偶残差：$s^{k+1}=\rho A^{T}B(z^{k+1}-z^k)<{ϵ}^{\text{dual}}$

2.3 收敛速度

• 收敛到一个高的精度要求很多次迭代；
• 但几十次迭代就可以达到一个合理的精度（类似于共轭梯度法(conjugate gradient method)）；
• 可以和其他算法组合来产生一个高的精度。

参考或延伸材料：
[1] Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers
[2] 凸优化讲义
[3] A Note on the Alternating Direction Method of Multipliers
[4] Convex Relaxation, Convex Conjugate, L1 & L0 norm, rank & nuclear norm