機器學習之凸優化原理推導及相關知識總結

文章目錄

  • 目錄
    • 1、了解凸集和仿射集的基本概念。
    • 2、知道幾何體的向量表達。
    • 3、了解超平面和半空間的概念。
    • 4、了解分割超平面和支撐超平面的含義。
    • 5、知道jensen不等式。
    • 6、掌握知識:凸函數。
    • 7、掌握凸優化

目錄

1、了解凸集和仿射集的基本概念。

凸集:在凸集內部的兩個點之間的線段仍在圖形內,則稱這個圖形為凸集。
仿射集:通過集合中任意兩個不同點的直線仍然在這個集合內則稱為這個集合的仿射集。
仿射集說的是直線,凸集說的是線段。
這里寫圖片描述
這里寫圖片描述

2、知道幾何體的向量表達。

兩個θ+(1-θ)=1代表的是兩個點之間的關系是直線關系,如果不等于1則代表是其他的非線性的關系。
這里寫圖片描述
這里寫圖片描述

3、了解超平面和半空間的概念。

超平面:如下圖所示,將線性方程轉化為矩陣的形式,然后(2,3)可以用向量a(已知點的向量)表示,(x,y)可以用向量x來表示,常數可以用b來表示。即若在2維空間中表示則超平面是一條直線,若a為N維向量(即在N維空間中表示),則式子可表示為一個N維空間中的超平面方程。
半空間:如下圖所示的2x+3y=1這條直線的一半即代表半空間,表示形式如下圖所示
這里寫圖片描述
這里寫圖片描述
2維空間中超平面是一條直線,3維中是一個平面。。。半空間就是超平面的一半的空間稱為半空間。

4、了解分割超平面和支撐超平面的含義。

分隔超平面:將兩個超平面分割的平面稱為分割超平面。即兩個凸集內部的兩個點d和c的連線的最短距離的垂直平分線即為這兩個凸集的分割超平面。
這里寫圖片描述
支撐超平面:對于一個圖形,通過它的任意邊上畫切線,如果圖形在切線的一邊則證明該圖形是凸集組成的圖形。若不是則證明該圖形非凸集。可以把這個切線稱為支撐超平面。
如果一個集合任何一個點都存在支撐超平面則這個集合是凸集。
這里寫圖片描述

5、知道jensen不等式。

jenson不等式可以轉化為f(E(x))<=E(f(x)),無論x是連續的或者是離散的。

6、掌握知識:凸函數。

數學含義:凸函數定義式可以理解為一個函數,它的割線總是在函數的上方,則可稱該函數是凸函數,如下圖所示。
這里寫圖片描述

7、掌握凸優化

凸優化:基本形式如下所示,即任何問題都可以轉化為求f0(x)的最小值,而對于f0(x)存在兩個限制條件 Fi(x)(代表的是若干個不等式約束條件)與Hj(x)(代表的是若干個等式約束條件)。
這里寫圖片描述
對于最終的最優化值我們不關心,而是關心對應的x的值
最優值的公式數學含義:在什么樣的條件下求對應的F0(x)的下確界
這里寫圖片描述
由對應的限制條件可得lagrange函數中的Hj(x)為0。
對偶函數通過梯度來求極大值。
這里寫圖片描述
這里寫圖片描述

將Lagrange函數轉化為求它的對偶函數,而Lagrange對偶函數為凹函數,則凹函數的最大值也就對應原函數的最小值。
這里寫圖片描述
我們求得是最小值。通過下面的推導也就轉化為求對偶函數。
由于Hj(x)=0所以原式轉化為g(λ)。
PS:下圖中的h(x)改為f(x),h(x)=0了,已經被舍掉了。
這里寫圖片描述
**整體的過程:**優化問題,優化的形式是固定,即問題可以轉化為一個表達式F(x)外加兩個限制條件的表達式。即任何問題都可以轉化為求f0(x)的最小值,而對于f0(x)存在兩個限制條件 Fi(x)與Hj(x)。
將凸優化問題轉化為Lagrange函數,再將Lagrange函數轉化為求它的對偶函數,而Lagrange對偶函數為凹函數,則凹函數的最大值也就對應原函數的最小值,即可得凸優化問題的解。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/456470.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/456470.shtml
英文地址,請注明出處:http://en.pswp.cn/news/456470.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

jQuery BreakingNews 間歇滾動

BreakingNews 是一款基于jQuery的間歇滾動插件。它可以設置標題、標題顏色、標題背景顏色、鏈接顏色、字體大小、邊框、寬度、自動滾動、間歇時間等等&#xff0c;同時它還好提供兩種過度方式——淡入淡出&#xff08;fade&#xff09;和向上滑動&#xff08;slide&#xff09;…

機器學習之回歸總結

目錄1、了解線性回歸2、了解似然函數3、了解交叉驗證的原理4、梯度下降算法4.1、批量梯度下降算法&#xff08;Batch Gradient Descent&#xff0c;簡稱BGD&#xff09;&#xff1a;4.2、隨機梯度下降算法&#xff08;SGD&#xff09;&#xff1a;4.3、折中&#xff1a; 5、了解…

html中的url、href、src的區別

url不是屬性&#xff0c;src和href是屬性&#xff0c;src用于替換當前元素&#xff0c;href用于在當前文檔和引用資源之間確立聯系&#xff0c;也就是說src引用的路徑是img自己的路徑&#xff0c;href引用的路徑是要跳轉到的地方。 URL&#xff1a;Uniform Resource Locators&…

SSIS 包部署錯誤 0xC0010014

SSIS 包部署錯誤 0xC0010014 Reinhard 在部署 SSIS 包時&#xff0c;提示如下錯誤。 由于錯誤 0xC0010014“發生了一個或多個錯誤。在此消息之前應有更為具體的錯誤消息&#xff0c;對這些錯誤進行詳細說明。此消息用作遇到錯誤的函數的返回值。”&#xff0c;無法加載包。當 C…

Android性能優化-App后臺優化

原文鏈接 Background Optimizations 前言 后臺進程是內存和電池敏感的。一個隱式的broadcast可能會啟動很多監聽它的后臺進程&#xff0c;即使這些進程可能做得工作不多。這可能丟設備性能和用戶體驗都有比較大的影響。 為了緩解這種問題&#xff0c;7.0&#xff08;API 24&…

機器學習之決策樹與隨機森林

目錄1、了解熵、條件熵、互信息的概念及公式1.1、熵1.2、條件熵1.3、信息增益/互信息 2、了解決策樹2.1、了解決策樹的概念和特點以及和熵的關系2.2、了解樹生成的過程2.3、了解決策樹三種算法的區別2.4、了解決策樹的損失函數2.5、了解解決決策樹過擬合的方法2.6、了解后剪枝的…

JSON(JavaScript Object Notation) 格式

JSON(JavaScript Object Notation) 是一種輕量級的數據交換格式。 它使得人們很容易的進行閱讀和編寫。同時也方便了機器進行解析和生成。JSON采用完全獨立于程序語言的文本格式&#xff0c;但是也使用了類C語言的習慣。 json是 JavaScript Object Notation 的首字母縮寫&…

synchronized 的理解

第一種&#xff1a;package com.ucmed.zsyy.util;/*** Created by ucmed on 2017/2/8.*/public class DirtyRead {private String username "zjkj";private String password "123";public synchronized void setValue(String username, String password)…

機器學習之提升算法

1、知道提升、梯度提升是什么意思1.1、提升1.2、梯度提升1.3、了解提升算法的過程 2、殘差與殘差平方和&#xff08;residual sum of squares&#xff09;3、了解GBDT算法4、了解XGBoost算法5、了解Adaboost算法5.1、Adaboost算法的原理5.2、例子 6、偏差和方差 1、知道提升、梯…

Jsoup遍歷ul li下的鏈接信息實例

2019獨角獸企業重金招聘Python工程師標準>>> Document doc;try {String URL "www.baidu.com";doc Jsoup.connect(URL).get();Elements ElementsUl doc.getElementsByTag("ul");for (Element elementLi : ElementsUl) {Elements provinceEl …

兩篇波蘭地區重金屬污染地區土壤微生物多樣性的研究

環境微生物&#xff08;包括方興未艾的腸道微生物&#xff09;在不同的系統中發揮著的生態作用逐漸被意識到&#xff0c;我們對環境微生物實際上仍舊知之甚少&#xff0c;其多樣性問題仍舊是一個非常基礎和重要的課題。這次讀的兩篇文章都是關于波蘭地區重金屬污染地區的土壤微…

jquery中的 $(function(){})

$(function(){})的區別&#xff1a;$(function(){}) 是 $(document).ready(function(){}) 的簡寫&#xff0c;用來在DOM加載完成之后執行一系列預先定義好的函數。 需要注意與(function(){})相比&#xff0c;(function(){})表示一個匿名函數。function(arg){...}定義了一個參數…

機器學習之支持向量機(SVM)總結

文章目錄1、知道SVM相關的各種概念2、知道目標函數、損失函數、正則項的意義2.1、目標函數2.2、損失函數2.3、正則化&#xff08;添加噪音避免過擬合&#xff09;3、了解SVM算法原理4、知道SVM的目標函數5、知道SVM的損失函數以及公式6、知道SVM支持向量機的計算過程6.1、推導過…

在CentOS上搭建PHP服務器環境

您也可以使用一鍵自動部署環境的工具&#xff0c;請參見網友開發的這個工具 http://www.centos.bz/2013/08/ezhttp-tutorial/安裝apache:yum install httpd httpd-devel 啟動apache:/etc/init.d/httpd start此時輸入服務器的IP地址&#xff0c;應該看到apache的服務頁面&#x…

jQuery之滾動事件$(window).scroll(function()

<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>滾動事件</title><script src"https://code.jquery.com/jquery-2.2.4.min.js"></script><style>img{position:fixe…

《瘋狂Java講義》(二十九)---- JDBC

JDBC編程步驟加載數據庫驅動Class.forName(driverClass). 例如&#xff1a;Class.forName("oracle.jdbc.driver.OracleDriver"); 2. 通過DriverManager獲取數據庫連接。 DriverManager.getConnection(String url, String user, String pwd); 3. 通過Connection對象創…

機器學習之聚類算法的原理推導及相關知識總結

文章目錄1、知道幾個關于"差"的概念2、理解相似度度量的各種方法和相互關系2.1、歐氏距離2.2、jaccard相似系數2.3、余弦相似度2.4、Pearson相似系數2.5、相對熵3、掌握掌握K-Means算法3.1、知道聚類的思想3.2、K-Means算法原理3.3、知道K-Mediods聚類3.4、如何選取K…

Flex 布局教程:語法

Java數組聲明的三種方式 第一種(聲明并初始化)&#xff1a; 數據類型[] 數組名{值,值,...}; 例&#xff1a;int[] a {1,2,3,4,5,6,7,8}; 第二種(聲明后賦值)&#xff1a; 數據類型[] 數組名 new 數據類型[數組長度]; 數組名[下標1]值…

注意:匿名函數調用直接加載函數名setInterval(move,30)

setInterval要求第一個參數必須是含Javascript命令的字符串或函數對象&#xff0c;所以 setInterval("move()",300) 以及 setInterval(move,300) 這兩個都是正確的。 而 setInterval(move(),300) 當Javascript運行到這個語句時&#xff0c;會立即執行move這個函數&am…

vue import組件的使用

vue import組件的使用 1新建/src/component/firstcomponent.vue <template><div id"firstcomponent"><h1>I am a title.</h1></div> </template>2在app.vue引入組件 并且注冊 <script> import firstcomponent from ./comp…