本系列文章主要是我在学习《数值优化》过程中的一些笔记和相关思考，主要的学习资料是深蓝学院的课程《机器人中的数值优化》和高立编著的《数值最优化方法》等，本系列文章篇数较多，不定期更新，上半部分介绍无约束优化，下半部分介绍带约束的优化，中间会穿插一些路径规划方面的应用实例

---

---

  

   二十八、锥与对称锥

   1、尖 锥

   锥是一种特殊的集合，当满足以下条件时，一组点称为pointed cone：

   $$\begin{array}{rl}\bullet & \text{Conic: }a\in \mathcal{K},\lambda \ge 0\Rightarrow \lambda a\in \mathcal{K}\\ \bullet & \text{Pointed: }a\in \mathcal{K}\mathrm{and}-a\in \mathcal{K}\Rightarrow a=0\end{array}$$

   第一个条件即向量$a$在集合$\mathcal{K}$中，$\lambda \ge 0$,则$\lambda a$也必然在集合$\mathcal{K}$中，第二个条件是若向量$a$在集合$\mathcal{K}$中，则向量-$a$不在集合$\mathcal{K}$中，除非向量$a$=0 。

   2、凸 锥

   相比于尖锥，我们对凸锥更感兴趣，在尖锥的基础上，若进一步满足$a,a^{\prime }\in \mathcal{K}\Rightarrow a+a^{\prime }\in \mathcal{K}$，即两个向量属于锥，则其叠加后的向量也必然属于锥，此时，为凸锥，它的界面可以是任意的形状，比如凸多面体、椭圆、超椭圆。

   （1）多面体锥（polyhedral cone）

   在多面体$Ax\le b$的基础上，增加一个维度t，在t从0开始增大时，相当于对该多面体进行了缩放，从而可以形成一个多面体锥，如下图所示：

   （2）椭球锥（Ellipsoidal cone）

   对于椭圆$x^{\top }Px+q^{\top }x+r\le 0$,经过仿射变换可以写成，$\Vert Ax+b\Vert \le c$，同样加上一个时间维度t，在t从0开始增大时，相当于对该椭圆进行了缩放，从而可以形成一个椭球锥，如下图所示：

---

   3、常用的锥

   以下三类锥，分别对应LP线性规划、SOCP二维锥规划，SDP半定规划

   详细如下：

---

   4、对称锥

   一个锥是对称的当且仅当它可以表示成平方的形式

   （1）positive orthant

   R ≥ 0 n = { x ∈ R n ∣ x i ≥ 0 , i = 1 , … , n } = { [ y ] 2 ∣ y ∈ R n } \mathbb{R}_{\geq0}^n=\{x\in\mathbb{R}^n\mid x_i\geq0,i=1,\ldots,n\}=\color{red}{\boxed{\{[y]^2\mid y\in\mathbb{R}^n\}}} R≥0n​={x∈Rn∣xi​≥0,i=1,…,n}={[y]2∣y∈Rn}​

   （2）second-order cone:

   $${\mathcal{Q}}^n=\left\{{\left(x_0,x_1\right)}^{\mathrm{T}}\in \mathbb{R}\times {\mathbb{R}}^{n-1}\mid x_0\ge {\Vert x_1\Vert }_2\right\}=\left\{\frac{1}{\sqrt{2}}{\left(y_0^2+y_1^{\mathrm{T}}{y}_1,2y_0{y}_1\right)}^{\mathrm{T}}\mid {\left(y_0,y_1\right)}^{\mathrm{T}}\in \mathbb{R}\times {\mathbb{R}}^{n-1}\right\}$$

   （3）Positive semi-definite cone:

   $${\mathcal{S}}_{\ge 0}^n=\left\{x\in {\mathbb{R}}^{n(n+1)/2}\mid z^{\text{T }}\max (x)z\ge 0,\forall z\in {\mathbb{R}}^n\right\}=\boxed{\left\{\mathrm{vec}(\mathrm{mat}(y)\mathrm{mat}(y))\mid y\in {\mathbb{R}}^{n(n+1)/2}\right\}}$$

---

   5、平方操作

   圆锥是对称的，当且仅当它是平方的，即如下式所示：

   $$\left\{x^2:=x\circ x\mid x\in {\mathbb{R}}^n\right\}$$

   满足下面四个条件，就可以称为平方

   $x\circ y\text{ is 线性的 }$，即$kx\circ y=k（x\circ y）$

   $\begin{array}{rl}& x\circ y=y\circ x\\ & x^2\circ (y\circ x)=(x^2\circ y)\circ x\\ & ⟨x,y\circ z⟩=⟨x\circ y,z⟩\end{array}$

   上面介绍的三类对称锥的圈乘定义分别如下所示：

   6、谱分解

   对于任意一个向量x，我们都可以把他变成特征值${\lambda }_i$与特征向量$q_i$乘积加和的形式,即$x={\sum }_{i=1}^{\theta }{\lambda }_i{q}_i$

   分解后的每一个特征向量，他的平方都是他自己，即满足$q_i^2=q_i$ ，不相同的特征向量之间的圈乘为0，即满足$q_i\circ q_{j(\ne i)}=0$

   因此，可以得到特征向量是正交的，即

   $$⟨q_i,q_{j(\ne i)}⟩=⟨q_i\circ q_i,q_{j(\ne i)}⟩=⟨q_i,q_i\circ q_{j(\ne i)}⟩=0$$

   当且仅当一个向量的特征值为非负时，它是对称锥上的向量，当且仅当一个向量的特征值都为正时，它就处于对称锥的内部

   下图中给出了两个谱分解的示例，（q1与q2是垂直的）

   所以对于positive orthant情况，它的谱分解的第i个特征值就是他的第i个坐标，第i个特征向量就是第i个自然标准正交基，即${\lambda }_i=x_i,q_i=e_i$

   对于second-order cone情况，它的谱分解只有两个特征值和特征向量，分别为${\lambda }_i=\frac{x_0\pm {\Vert x_1\Vert }_2}{\sqrt{2}},q_i=\frac{1}{\sqrt{2}}\left[\begin{array}{c}1\\ \pm x_1/\Vert x_1{\Vert }_2\end{array}\right]$，其中i=1、2；

   对于Positive semi-definite cone情况，矩阵的特征值就是对应的半定锥的特征值，它的谱分解为${\lambda }_i={\lambda }_i,q_i=\mathrm{vec}(v_i{v}_i^{\mathrm{T}}),$

---

   7、对称锥的自对偶性

   我们记锥$\mathcal{K}$的对偶锥为${\mathcal{K}}^{\ast }$，即与$\mathcal{K}$中任意元素y的内积大于0的x的集合，如下所示

   K ∗ = { x ∣ ⟨ x , y ⟩ ≥ 0 , ∀ y ∈ K } \mathcal{K}^*=\{x\mid\langle x,y\rangle\geq0,\forall y\in\mathcal{K}\} K∗={x∣⟨x,y⟩≥0,∀y∈K}

   当锥$\mathcal{K}$对称锥时，其对偶锥即他本身，此时${\mathcal{K}}^{\ast }=\mathcal{K}.$

  

–

   8、带约束优化的表示形式转化

   在前面的介绍中，我们把约束优化分为以下几个部分，如下图所示

---

   （1）将LP写成QP的形式

   LP线性规划可以看成是QP二次规划的特例，所以LP线性规划，可以写成QP二次规划的形式，如下所示

   （2）将QP写成SOCP的形式

   对于凸的QP，Q矩阵就可以写成平方根分解的形式， 即$Q=2H^{\mathrm{T}}H,p=2H^{\mathrm{T}}c$，这样QP就可以等价的表示成SOCP的形式

   （3）将SOCP写成SDP的形式

---

   就表达能力而言，LP<QP<SOCP<SDP，因此，有的问题可以用SOCP表示，而不能用LP表示，如下面的例子所示

   SDP是最强大的对称锥形式之一，许多困难的问题可以通过Lasserre hierarchy方法在SDP中轻松解决

---

   参考资料：

   1、数值最优化方法（高立 编著）

   2、机器人中的数值优化

---