機器學習之線性回歸 損失函數、代價函數、目標函數

損失函數（Loss Function）定義在單個樣本上，算的是一個樣本的誤差。比如：

?

loss(\theta)=(\hat{y_i} - y_i) 其中\hat{y_i}=h_{\theta}(x_i)

?

0-1損失函數:

J(\theta)=\left\{\begin{aligned}1, Y\neq{f(x)}\\0, Y=f(x)\\\end{aligned}\right.

感知器損失函數：

J(\theta)=\left\{\begin{aligned}1, |Y-f(x)|> t \\0, |Y-f(x)|\le{t}\\\end{aligned}\right

平方和損失函數：

J(\theta)=\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})^2

絕對損失函數：

J(\theta)=\sum_{i=1}^{m}|h_{\theta}(x^{(i)})-y^{(i)}|

對數損失函數：

?

J(\theta)=-\sum_{i=1}^{m}(y^{(i)}\log{h_{\theta}(x^{(i)})})

代價函數（Cost Function）定義在整個訓練集上，是所有樣本誤差的平均值，也就是損失函數的平均，比如：

?

Cost(\theta)=\frac{1}{N}\sum_{i=1}^N (\hat{y_i}-y_i)^2,其中\hat{y_i}=h_{\theta}(x_i)


目標函數（Object Function）是最終需要優化的函數

Obj(\theta)=\frac{1}{N}\sum_{i = 1}^{N}loss(\hat{y_i},y_i)
?

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/news/454284.shtml
繁體地址，請注明出處：http://hk.pswp.cn/news/454284.shtml
英文地址，請注明出處：http://en.pswp.cn/news/454284.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！

相關文章

bzoj4950(二分圖最大匹配)

bzoj4950(二分圖最大匹配)

[Wf2017]Mission Improbable Time Limit: 1 Sec Memory Limit: 1024 MBSubmit: 105 Solved: 49[Submit][Status][Discuss]Description 那是春日里一個天氣晴朗的好日子,你準備去見見你的老朋友Patrick,也是你之前的犯罪同伙。Patrick在編程競賽上豪賭輸掉了一大筆錢,所以他需…
閱讀更多...
git 遠程倉庫管理 分支創建、管理、查看、切換

git 遠程倉庫管理 分支創建、管理、查看、切換

作用： 區分生產環境代碼以及開發環境代碼研究新的功能或者攻關難題解決線上bug 特點： 項目開發中公用分支包括master、dev分支master是默認分支，用于發布，當需要發布時將dev分支合并到master分支分支dev是用于開發的分支&#…
閱讀更多...
大學生活應該這樣度過之參加一個社團讓自己溶入團隊——《程序員羊皮卷》連載(11)

大學生活應該這樣度過之參加一個社團讓自己溶入團隊——《程序員羊皮卷》連載(11)

《程序員羊皮卷》當當購買地址：http://product.dangdang.com/product.aspx?product_id20691986 互動購買地址：http://www.china-pub.com/196049 1.3參加一個社團讓自己溶入團隊 有人曾經問我“學校里的什么活動和工作中的項目管理比較類似&#xff1f…
閱讀更多...
Hadoop Hive概念學習系列之hive的數據壓縮（七）

Hadoop Hive概念學習系列之hive的數據壓縮（七）

Hive文件存儲格式包括以下幾類： 1、TEXTFILE 2、SEQUENCEFILE 3、RCFILE 4、ORCFILE 其中TEXTFILE為默認格式，建表時不指定默認為這個格式，導入數據時會直接把數據文件拷貝到hdfs上不進行處理。 SEQUENCEFILE，RCFILE，O…
閱讀更多...
java 加鎖_Java并發之synchronized深入

java 加鎖_Java并發之synchronized深入

一句話總結synchronized：JVM會自動通過使用monitor來加鎖和解鎖，保證了同時只有一個線程可以執行指定代碼，從而保證了線程安全，同時具有可重入和不可中斷的性質。一.synchronized的作用使用synchronized修飾方法或者代碼塊時&…
閱讀更多...
激活函數之 Sigmoid、tanh、ReLU、ReLU變形和Maxout

激活函數之 Sigmoid、tanh、ReLU、ReLU變形和Maxout

Sigmoid函數 Sigmoid函數計算公式 sigmoid：x取值范圍(-∞，∞)，值域是(0, 1)。 sigmoid函數求導 這是sigmoid函數的一個重要性質。 圖像 代碼 # -*- coding: utf-8 -*- """ author: tom """import numpy im…
閱讀更多...
Python查看、修改pip install 默認使用的pip庫

Python查看、修改pip install 默認使用的pip庫

一、更改 Python 的 pip install 默認使用的pip庫 【方法】只需要將對應python腳本的路徑添加到系統環境變量Path中較前的位置即可，這樣就可以獲得優先級。 1、打開終端，可以通過指令 pip show pip 查看默認使用的pip包： 2、現在&#xff…
閱讀更多...
cmd 找到8080對應進程_多進程概括

cmd 找到8080對應進程_多進程概括

多進程圖像操作系統記錄進程，并按照合理的次序交替推進(分配資源，不斷調度)，提高CPU利用率和程序執行速度，這就是操作系統的多進程圖像。當操作系統啟動時，多進程圖像就出現了。 在linux內核源碼main.c文件中&#xff…
閱讀更多...
機器學習接口和代碼之 KNN

機器學習接口和代碼之 KNN

官網地址：https://scikit-learn.org/stable/modules/classes.html#module-sklearn.neighbors class sklearn.neighbors.KNeighborsClassifier(n_neighbors5, weights’uniform’, algorithm’auto’, leaf_size30, p2, metric’minkowski’, metric_paramsNone, n…
閱讀更多...
Eclipse中安裝Ext插件（Spket IDE）

Eclipse中安裝Ext插件（Spket IDE）

在網上找了很多資料，這里重新整理一下。 Spket IDE是目前支持Ext 2.0最為出色的IDE。 它采用.jsb project file 文件并將繼承于基類和所有文檔的內容嵌入到生成代碼提示的. doc中。由于Spket只是一個單純的編輯器，沒有其它格式的支持（如CSS&a…
閱讀更多...
職業程序員培養之道

職業程序員培養之道

作者：粘新育 任甲林　來源：希賽網　 http://www.csai.cn 2004年06月28日軟件開發是以人為核心的過程，對人的依賴性遠高于傳統的硬件生產企業，為了保持開發能力的穩定性，一方面需要定義軟件過程，以過程為樞紐…
閱讀更多...
MongoDB啟動

MongoDB啟動

詳細見大神鏈接 鏈接: https://blog.csdn.net/chenpuzhen/article/details/90642147.
閱讀更多...
Go 語言編程規范

Go 語言編程規范

1. gofmt 命令 大部分的格式問題可以通過 gofmt 來解決，gofmt 自動格式化代碼，保證所有的 go 代碼與官方推薦的格式保持一致，所有格式有關問題，都以gofmt的結果為準。所以，建議在提交代碼庫之前先運行一下這個命令。 2…
閱讀更多...
python去噪音_python中的噪聲是什么意思

python去噪音_python中的噪聲是什么意思

你的序列均值為零嗎? 方差隨時間變化嗎? 值與延遲值相關嗎? 你可以用一些工具來檢查你的時間序列是否為白噪音: 創建一個折線圖。檢查總體特征，如變化的平均值，方差或延遲變量之間的明顯關系。 計算匯總統計。對照序列中有意義的連續塊的均值和方差&a…
閱讀更多...
pycharm 離線安裝插件

pycharm 離線安裝插件

插件離線下載地址： http://plugins.jetbrains.com/ 1、下載插件：http://plugins.jetbrains.com/ 2、安裝插件： settings -> plugins -> install plugin from disk，然后重啟IDEA即可。
閱讀更多...
為機器學習占地16

為機器學習占地16

是將若干個學習器(分類器&回歸器)組合之后產生一個新學習器。弱分類器(weak learner)指那些分類準確率只稍微好于隨機猜測的分類器(errorrate < 0.5)。 集成算法的成功在于保證弱分類器的多樣性(Diversity)。而且集成不穩定的算法也能夠得到一個比較明顯的性能提升。 …
閱讀更多...
VC DLL學習

VC DLL學習

1 用VC創建DLL動態鏈接庫1.1 創建dll項目1.2 為dll項目編寫源文件頭文件dllDemo.hextern"C"_declspec(dllexport) intSum(inta,intb);//加法函數。extern"C"_declspec(dllexport) intMax(inta, intb);//取較大值函數extern"C"_declspec(dllexpor…
閱讀更多...
mciSendString 多線程播放多首音樂 注意事項

mciSendString 多線程播放多首音樂 注意事項

昨天晚上遇到一個問題&#xff1a; 使用 mciSendString 控制播放多首音樂的時候&#xff0c;出現最后一次播放的音樂無法通過 mciSendString ("close mp3") 關閉音樂的播放。 mciSendString 在多個線程中調用。 到23點&#xff0c;問題依然沒解決&#xff0c;只好先…
閱讀更多...
python代碼比例_Python如何輸出百分比

python代碼比例_Python如何輸出百分比

Python 輸出百分比的兩種方式 注&#xff1a; 在python3環境下測試。 方式1&#xff1a;直接使用參數格式化&#xff1a;{:.2%} {:.2%}&#xff1a; 顯示小數點后2位 顯示小數點后2位&#xff1a; >>> print(percent: {:.2%}.format(42/50)) percent: 84.00% 不顯示小…
閱讀更多...
為機器學習占地15

為機器學習占地15

是將若干個學習器(分類器&回歸器)組合之后產生一個新學習器。弱分類器(weak learner)指那些分類準確率只稍微好于隨機猜測的分類器(errorrat弱分類器的多樣性(Diversity)。而且集成不穩定的算法也能夠得到一個比較明顯的性能提升。 常見的集成學習思想有&#xff1a;Baggi…
閱讀更多...
最新文章

Copyright @ 2022~2023