提示:本文是我參加datawhale活動的讀書筆記,這是第一章的閱讀筆記
文章目錄
- 前言
- 一、深度學習能做什么?
- 二、教學案例
- 總結
前言
隨著大數據和算力的大幅提升,基于數據學習的解決方案正取代基于人工設計的解決方案
提示:以下是本篇文章正文內容,下面案例可供參考
一、深度學習能做什么?
作者舉例如下幾個例子:
- 圖像分類:醫療檢查
- 蛋白質結構預測:生物醫學領域突破,節省大量人力
- 圖像合成:人臉偽造
- 大語言模型
作者具體用了一個大語言模型生成莎士比亞的對話例子,來展示大語言模型的強大
二、教學案例
作者以多項式擬合曲線為例引入,這個例子感覺像記單詞中的abandon(非常常見 )
- 線性模型:
- 誤差函數
- 過擬合:能夠很好的識別訓練數據,但是無法對測試數據的預測效果不佳,數據集越大,過擬合現象約不明顯
- 啟發式經驗:訓練數據點的數量應至少是模型參數的若干倍(不一定準確)
- 正則化項:通過設置在損失函數中添加一個懲罰項來控制權重大小
這里的 λ \lambda λ用來衡量誤差和與正則化項之間的 - k折交叉技術:簡單來說把其分為k份,其中一份用作測試,其他用做訓練。如此反復選擇不同的一份作為測試進行k次
- 自動微分:什么是自動微分?- ariseffa
補充知識:計算圖
總結
由于還有期末考試,這次對于歷史介紹部分,我基本掠過,這本書閱讀體驗暫時來看挺好(萌新瑟瑟發抖 )教學案例的安排使得閱讀與實踐相結合,推薦。
這里仔細回顧了一下計算圖的概念,發現了其本質的東西,就是鏈式求導。