吳恩達deeplearning.ai:正則化對于偏方差的影響制定用于性能評估的基準

以下內容有任何不理解可以翻看我之前的博客哦:吳恩達deeplearning.ai專欄
這節我們看看正則化系數

文章目錄


以線性回歸為例

讓我們舉一個例子:
模型:
f w , b ( x ) = w 1 x + w 2 x 2 + w 3 x 3 + w 4 x 4 + b f_{w,b}(x)=w_1x+w_2x^2+w_3x^3+w_4x^4+b fw,b?(x)=w1?x+w2?x2+w3?x3+w4?x4+b
其中代價函數我們使用帶正則化的:
J ( w , b ) = 1 2 m ∑ ( f w , b ( x ) ? y ) 2 + λ 2 m ∑ w j 2 J(w,b)=\frac{1}{2m}\sum(f_{w,b}(x)-y)^2+\frac{\lambda}{2m}\sum w_j^2 J(w,b)=2m1?(fw,b?(x)?y)2+2mλ?wj2?

讓我們從設置一個比較大的 λ \lambda λ開始:
在這里插入圖片描述
通過之前章節的學習很容易意識到,當 λ \lambda λ特別大時,那么w1和w2將會接近于0。在這種情況下,得出的擬合曲線就接近一條平行于x軸的直線。很顯然,這個模型具有很高的偏差和方差。
而當 λ \lambda λ的值特別小的時候,那么正則化的作用將會無限趨近0,此時曲線就容易過擬合,從而出現低偏差,高方差的情況。
在這里插入圖片描述
當然,如果你的 λ \lambda λ取值合適,那么此時將會得到一條擬合程度剛好的曲線,就可以做到低方差和低偏差了。
在這里插入圖片描述

交叉驗證誤差對于確定 λ \lambda λ的作用

作者給出的方法就是,一系列的 λ \lambda λ你就試吧,然后通過看交叉驗證誤差的大小來確定 λ \lambda λ應該取多大效果最好。最后為了嚴謹,你可以再測一下選出數據的測試集誤差。
我們也可以通過畫圖,來看看 λ \lambda λ對于訓練集誤差和驗證集誤差的影響趨勢:
在這里插入圖片描述
因此和上一節類似,我們的 λ \lambda λ取值也需要適中,從而使得模型達到合適的效果。
既然我們已經知道了偏差和方差的意義以及規律,那么我們可以指定一個基準,讓學習算法能夠自動進行評估。

指定用于性能評估的基準

語音識別的例子

本次語音識別指的是將語音的內容轉化為文字的形式。它當中的錯誤當然就是你訓練算法中翻譯錯誤的內容占所有內容的百分比,我們可以就用這個百分比來代表 J t r a i n J_{train} Jtrain?
假設一個訓練集它的訓練誤差為10.8%,這意味著它成功轉化了89.2%的訓練集,但在10.8%的數據集出現了錯誤。之后你肯定就該在交叉驗證集上來測試準確度了,假設 J c v J_{cv} Jcv?為14.8%。
在這里插入圖片描述
在語音識別中這樣的錯誤率感覺已經很高了,但是這樣就妄下定論其實是不太公平的,因為還沒考慮到人說話的質量。如果讓人來聽訓練集中說的話然后再翻譯,準確度能達到多少,然后再和 J t r i a n J_{trian} Jtrian?進行比較,這樣看上去比較公平。
在這里插入圖片描述
假設你最后發現,人類的識別錯誤率也高達10.6%,那么就可以為你的模型血洗冤屈了,因為這說明聽不清是訓練集數據的鍋。
因此可以知道,判斷算法是否合適,其中一個重要的方法是看看它與人類水平相比是否更好,在本文的例子之中,機器的水平只比人類差了0.2個百分點,其實就可以說明在訓練集的表現已經很不錯了。但與之相比, J c v J_{cv} Jcv? 4.2%的錯誤其實還有進步的空間。
在之前,我們提出的觀點是觀察偏差和方差來判斷模型的好壞,但其實有時候也需要考慮進去例如訓練集質量的問題。所以盡管訓練集誤差和驗證集誤差看上去差距不大,但其實在這個例子之中更主要的問題集中在交叉驗證集上。
所以,建立性能評估基準主要取決于你對于模型的正確率的期望值為多少,是你合理的希望學習算法達到的最終水平,這取決于很多的擾動因素例如:

1.人類的表現水平
2.其它算法的表現水平
3.樸素的經驗

之后相比于將錯誤率和0相比,更應該和基準水平進行比較。
在這里插入圖片描述
為了給讀者你造成不必要的麻煩,博主的所有視頻都沒開僅粉絲可見,如果想要閱讀我的其他博客,可以點個小小的關注哦。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/716781.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/716781.shtml
英文地址,請注明出處:http://en.pswp.cn/news/716781.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Outlook郵箱IMAP密碼怎么填寫?賬戶設置?

Outlook郵箱IMAP密碼是什么?Outlook如何設置IMAP? 許多用戶會選擇通過IMAP協議將郵箱與各種郵件客戶端進行連接。而在設置過程中,填寫IMAP密碼是必不可少的一步。那么,Outlook郵箱的IMAP密碼應該如何填寫呢?接下來&am…

【Linux】深入理解ls命令

🍎個人博客:個人主頁 🏆個人專欄:Linux ?? 功不唐捐,玉汝于成 目錄 前言 正文 基本用法 常用選項 示例 高級用法 結語 我的其他博客 前言 在 Linux 系統中,ls 命令是一個強大而又基礎的工具&am…

高刷顯示器 - HKC VG253KM

🔥🔥 今天來給大家揭秘一款電競神器 - HKC VG253KM 高刷電競顯示器!這款顯示器可是有著雄鷹展翅般的設計靈感,背后的大鵬展翅鷹翼圖騰讓人過目難忘。那么,這款顯示器到底有哪些過人之處呢?一起來看看吧&…

【MySQL】基于Docker搭建MySQL一主二從集群

本文記錄了搭建mysql一主二從集群,這樣的一個集群master為可讀寫,slave為只讀。過程中使用了docker,便于快速搭建單體mysql。 1,準備docker docker的安裝可以參考之前基于yum安裝docker的文章[1]。 容器相關命令[2]。 查看正在…

如何系統的學習Python——Python的基本語法

學習Python的基本語法是入門的第一步,以下是一些常見的基本語法概念: 注釋: 用#符號來添加單行注釋,或使用三引號(或""")來添加多行注釋。 # 這是一個單行注釋 這是 多行 注釋 變量和數據類型: 變量用…

Pod和容器設計模式

為什么需要 Pod; Pod 的實現機制; 詳解容器設計模式。 一、為什么需要 Pod 容器的基本概念 現在來看第一個問題:為什么需要 Pod?我們知道 Pod 是 Kubernetes 項目里面一個非常重要的概念,也是非常重要的一個原子調…

144. 二叉樹的前序遍歷

給你二叉樹的根節點 root ,返回它節點值的 前序 遍歷。 示例 1: 輸入:root [1,null,2,3] 輸出:[1,2,3]示例 2: 輸入:root [] 輸出:[]示例 3: 輸入:root [1] 輸出&am…

java方法

目錄 方法的定義 方法的命名規則 方法的調用與重載 方法調用實例 方法的重載 變量的作用域 算法中常見的方法 1:gcd(求兩個整數中的最大公約數) 2:lcm(求兩個整數的最小公倍數) 3:判斷一個整數是否…

SpringCloud(18)之Sleuth +Zipkin鏈路追蹤

一、Zipkin介紹 Zipkin是一個開放源代碼分布式的跟蹤系統,它可以幫助收集服務的時間數據,以解決微服務架構中的延遲問 題,包括數據的收集、存儲、查找和展現。每個服務向zipkin報告計時數據,zipkin會根據調用關系通 過Zipkin UI…

LeetCode: 數組中的第K個最大元素

問題描述 在未排序的數組中找到第k個最大的元素。請注意,你需要找的是數組排序后的第k個最大的元素,而不是第k個不同的元素。 解題思路 解決這個問題有多種方法,下面是幾種常見的解題策略: 排序后選擇: 將數組排序&#xff0c…

ProChat 如何接入 WebSocket

WebSocket是一種在單個TCP連接上進行全雙工通信的協議,允許客戶端和服務器之間進行雙向實時通信。與Server-Sent Events (SSE)類似,WebSocket也能實現實時數據推送,但其功能更為強大且靈活。 全雙工通信:WebSocket不僅允許服務器向…

【TestNG】(4) 重試機制與監聽器的使用

在UI自動化測試用例執行過程中,經常會有很多不確定的因素導致用例執行失敗,比如網絡原因、環境問題等,所以我們有必要引入重試機制(失敗重跑),來提高測試用例成功率。 在不寫代碼的情況沒有提供可配置方式…

Mysql 慢查詢日志

查詢是否開啟慢SQL日志 show variables like %slow_query_log; 開啟慢查詢日志 set global slow_query_logON; 可以通過修改MySQL的配置my.cfg或者my.ini永久生效 slow_query_logON # 開啟慢查詢日志開關 slow_query_log_file/var/lib/mysql/alvin-slow.log # 慢查詢日志…

1.2 在卷積神經網絡中,如何計算各層感受野的大小

1.2 在卷積神經網絡中,如何計算各層感受野的大小 分析與解答: 在卷積神經網絡中,由于卷積的局部連接性,輸出特征圖上的每個節點的取值,是由卷積核在輸入特征圖對應位置的局部區域內進行卷積而得到的,因此這…

COM - IWbemClassObject對象屬性的遍歷

文章目錄 COM - IWbemClassObject對象屬性的遍歷概述筆記場景封裝好的函數bool CWmiBase::enumObjVaule(IWbemClassObject* obj, std::wstring& val)bool CWmiBase::appendVarToString(BSTR& strName, VARIANT& var, std::wstring& val)bool CWmiBase::get_var…

【筆試強訓錯題選擇題】Day5.習題(錯題)解析

文章目錄 前言 錯題題目 錯題解析 總結 前言 錯題題目 1. ? ? 2. 3. ? 4. ? 5. ? 錯題解析 1. 移位運算符的使用 2. 3. 4. 5. 總結

如何用TCC實現分布式事務?

TCC事務介紹 TCC(Try-Confirm-Cancel)是除可靠消息隊列以外的另一種常見的分布式事務機制,它是由數據庫專家帕特 赫蘭德(Pat Helland)在2007年撰寫的論文《Life beyond Distributed Transactions: An Apostate’s Op…

基于YOLOv8/YOLOv7/YOLOv6/YOLOv5的體育賽事目標檢測系統(Python+PySide6界面+訓練代碼)

摘要:開發和研究體育賽事目標檢測系統對于增強體育分析和觀賞體驗至關重要。本篇博客詳細講述了如何運用深度學習技術構建一個體育賽事目標檢測系統,并提供了完整的實現代碼。系統基于先進的YOLOv8算法,對比了YOLOv7、YOLOv6、YOLOv5的性能&a…

【webrtc】p2p_transport_channel 中忽略Hyper-V

【win11】更改網絡適配器設置 刪掉了hype-v,這時候wsl2 打不開了,但是重啟后,還是存在hyper-v那么,讓webrtc自己不適用hyper-v的網絡Hyper-V 的全程:Hyper-V Virtual Ethernet Adapter https://github.com/SophistSolutions/Stroika/blob/2cd5e8bf4ee01cb5c423367b4df628f…

MFC 模態對話框退出機制的探究

一位讀者問了這樣一個問題: ” 如果我創建了一個可見的模態對話框,卻對用戶來說不可用。舉個例子,假設我在程序中的其他位置收到一個事件,并且我從事件中調用模態 CDialog 上的 DestroyWindow。我注意到 OnDestroy 是在 CDialog 上調用的,但在將 WM_QUIT 消息發送到模態對…