文章目錄
- 目錄
- 1、了解凸集和仿射集的基本概念。
- 2、知道幾何體的向量表達。
- 3、了解超平面和半空間的概念。
- 4、了解分割超平面和支撐超平面的含義。
- 5、知道jensen不等式。
- 6、掌握知識:凸函數。
- 7、掌握凸優化
目錄
1、了解凸集和仿射集的基本概念。
凸集:在凸集內部的兩個點之間的線段仍在圖形內,則稱這個圖形為凸集。
仿射集:通過集合中任意兩個不同點的直線仍然在這個集合內則稱為這個集合的仿射集。
仿射集說的是直線,凸集說的是線段。
2、知道幾何體的向量表達。
兩個θ+(1-θ)=1代表的是兩個點之間的關系是直線關系,如果不等于1則代表是其他的非線性的關系。
3、了解超平面和半空間的概念。
超平面:如下圖所示,將線性方程轉化為矩陣的形式,然后(2,3)可以用向量a(已知點的向量)表示,(x,y)可以用向量x來表示,常數可以用b來表示。即若在2維空間中表示則超平面是一條直線,若a為N維向量(即在N維空間中表示),則式子可表示為一個N維空間中的超平面方程。
半空間:如下圖所示的2x+3y=1這條直線的一半即代表半空間,表示形式如下圖所示
2維空間中超平面是一條直線,3維中是一個平面。。。半空間就是超平面的一半的空間稱為半空間。
4、了解分割超平面和支撐超平面的含義。
分隔超平面:將兩個超平面分割的平面稱為分割超平面。即兩個凸集內部的兩個點d和c的連線的最短距離的垂直平分線即為這兩個凸集的分割超平面。
支撐超平面:對于一個圖形,通過它的任意邊上畫切線,如果圖形在切線的一邊則證明該圖形是凸集組成的圖形。若不是則證明該圖形非凸集。可以把這個切線稱為支撐超平面。
如果一個集合任何一個點都存在支撐超平面則這個集合是凸集。
5、知道jensen不等式。
jenson不等式可以轉化為f(E(x))<=E(f(x)),無論x是連續的或者是離散的。
6、掌握知識:凸函數。
數學含義:凸函數定義式可以理解為一個函數,它的割線總是在函數的上方,則可稱該函數是凸函數,如下圖所示。
7、掌握凸優化
凸優化:基本形式如下所示,即任何問題都可以轉化為求f0(x)的最小值,而對于f0(x)存在兩個限制條件 Fi(x)(代表的是若干個不等式約束條件)與Hj(x)(代表的是若干個等式約束條件)。
對于最終的最優化值我們不關心,而是關心對應的x的值
最優值的公式數學含義:在什么樣的條件下求對應的F0(x)的下確界
由對應的限制條件可得lagrange函數中的Hj(x)為0。
對偶函數通過梯度來求極大值。
將Lagrange函數轉化為求它的對偶函數,而Lagrange對偶函數為凹函數,則凹函數的最大值也就對應原函數的最小值。
我們求得是最小值。通過下面的推導也就轉化為求對偶函數。
由于Hj(x)=0所以原式轉化為g(λ)。
PS:下圖中的h(x)改為f(x),h(x)=0了,已經被舍掉了。
**整體的過程:**優化問題,優化的形式是固定,即問題可以轉化為一個表達式F(x)外加兩個限制條件的表達式。即任何問題都可以轉化為求f0(x)的最小值,而對于f0(x)存在兩個限制條件 Fi(x)與Hj(x)。
將凸優化問題轉化為Lagrange函數,再將Lagrange函數轉化為求它的對偶函數,而Lagrange對偶函數為凹函數,則凹函數的最大值也就對應原函數的最小值,即可得凸優化問題的解。