深度學習原理與Pytorch實戰 第2版 強化學習人工智能神經網絡書籍 python動手學深度學習框架書 TransformerBERT圖神經網絡:
技術講解
編輯推薦
1.基于PyTorch新版本,涵蓋深度學習基礎知識和前沿技術,由淺入深,通俗易懂,適合初學人士的深度學習入門書3.實戰案例豐富有趣,深度學習原理與具體的操作流程相結合4.新增了Transformer、BERT、圖神經網絡等熱門技術的講解5.配有源代碼和導學,讓學習更直觀、更有效。另有付費□□課程。
內容簡介
本書是一本系統介紹深度學習技術及開源框架PyTorch的入門書。書中通過大量案例介紹了PyTorch的使用方法、神經網絡的搭建、常用神經網絡(如卷積神經網絡、循環神經網絡)的實現,以及實用的深度學習技術,包括遷移學習、對抗生成學習、深度強化學習、圖神經網絡等。讀者通過閱讀本書,可以學會構造一個圖像識別器,生成逼真的圖畫,讓機器理解單詞與文本,讓機器作曲,教會機器玩游戲,還可以實現一個簡單的機器翻譯系統。第□版基于PyTorch 1.6.0,對全書代碼進行了全面更新,同時增加了Transformer、BERT、圖神經網絡等熱門深度學習技術的講解,更具實用性和時效性。
目錄
推薦序
前言
作者簡介
□ □章 深度學習簡介 1
1.1 深度學習與人工智能 1
1.□ 深度學□□歷史淵源 □
1.□.1 從感知機到人工神經網絡 3
1.□.□ 深度學□□□ 4
1.□.3 巨頭之間的角逐 5
1.3 深度學□□影響因素 6
1.3.1 大數據 6
1.3.□ 深度網絡架構 7
1.3.3 GPU 11
1.4 深度學習為什么如此成功 11
1.4.1 特征學習 11
1.4.□ 遷移學習 1□
1.5 小結 13
1.6 參考文獻 14
第 □章 PyTorch簡介 15
□.1 PyTorch安裝 15
□.□ 初識PyTorch 15
□.□.1 與Python完美融合 16
□.□.□ 張量計算 16
□.□.3 動態計算圖 □0
□.3 PyTorch實例:預測房價 □7
□.3.1 準備數據 □7
□.3.□ 設計模型 □8
□.3.3 訓練 □9
□.3.4 預測 31
□.3.5 術語匯總 3□
□.4 小結 33
第3章 單車預測器——你的□ □個神經網絡 35
3.1 共享單車的煩惱 35
3.□ 單車預測器1.0 37
3.□.1 人工神經網絡簡介 37
3.□.□ 人工神經元 38
3.□.3 兩個隱含神經元 40
3.□.4 訓練與運行 4□
3.□.5 失敗的神經預測器 4□
3.□.6 過擬合 48
3.3 單車預測器□.0 49
3.3.1 數據的預處理過程 49
3.3.□ 構建神經網絡 5□
3.3.3 測試神經網絡 55
3.4 剖析神經網絡Neu 57
3.5 小結 61
3.6 Q&A 61
第4章 機器也懂感情——中文情緒分類器 63
4.1 神經網絡分類器 64
4.1.1 如何用神經網絡做分類 64
4.1.□ 分類問題的損失函數 66
4.□ 詞袋模型分類器 67
4.□.1 詞袋模型簡介 68
4.□.□ 搭建簡單文本分類器 69
4.3 程序實現 70
4.3.1 數據處理 71
4.3.□ 文本數據向量化 73
4.3.3 劃分數據集 74
4.3.4 建立神經網絡 75
4.4 運行結果 78
4.5 剖析神經網絡 79
4.6 小結 83
4.7 Q&A 83
第5章 手寫數字識別器——認識卷積神經網絡 84
5.1 什么是卷積神經網絡 85
5.1.1 手寫數字識別任務的卷積神經網絡及運算過程 86
5.1.□ 卷積運算 87
5.1.3 池化運算 93
5.1.4 立體卷積核 94
5.1.5 超參數與參數 95
5.1.6 其他說明 96
5.□ 手寫數字識別器 97
5.□.1 數據準備 97
5.□.□ 構建網絡 100
5.□.3 運行模型 10□
5.□.4 測試模型 104
5.3 剖析卷積神經網絡 105
5.3.1 □ □層卷積核與特征圖 105
5.3.□ 第二層卷積核與特征圖 106
5.3.3 卷積神經網絡的健壯性實驗 107
5.4 小結 109
5.5 Q&A 109
5.6 擴展閱讀 109
第6章 手寫數字加法機——遷移學習 110
6.1 什么是遷移學習 111
6.1.1 遷移學□□由來 111
6.1.□ 遷移學□□分類 11□
6.1.3 遷移學□□意義 11□
6.1.4 如何用神經網絡實現遷移學習 113
6.□ 應用案例:遷移學習如何抗擊貧困 115
6.□.1 背景介紹 115
6.□.□ 方法探尋 116
6.□.3 遷移學習方法 116
6.3 螞蟻還是蜜蜂:遷移大型卷積神經網絡 117
6.3.1 任務描述與初步嘗試 118
6.3.□ ResNet與模型遷移 119
6.3.3 代碼實現 1□0
6.3.4 結果分析 1□3
6.3.5 更多的模型與數據 1□5
6.4 手寫數字加法機 1□5
6.4.1 網絡架構 1□5
6.4.□ 代碼實現 1□6
6.4.3 訓練與測試 133
6.4.4 結果 135
6.4.5 大規模實驗 135
6.5 小結 140
6.6 實踐項目:遷移與效率 140
第7章 你自己的Prisma——圖像風格遷移 14□
7.1 什么是風格遷移 14□
7.1.1 什么是風格 14□
7.1.□ 風格遷移的含義 143
7.□ 風格遷移技術發展簡史 144
7.3 神經網絡風格遷移 146
7.3.1 神經網絡風格遷移的優勢 146
7.3.□ 神經網絡風格遷移的基本思想 147
7.3.3 卷積神經網絡的選取 148
7.3.4 內容損失 149
7.3.5 風格損失 149
7.3.6 風格損失原理分析 150
7.3.7 損失函數與優化 153
7.4 神經網絡風格遷移實戰 153
7.4.1 準備工作 153
7.4.□ 建立風格遷移網絡 155
7.4.3 風格遷移訓練 158
7.5 小結 161
7.6 擴展閱讀 161
第8章 人工智能造假術——圖像生成與對抗學習 16□
8.1 反卷積與圖像生成 165
8.1.1 卷積神經網絡回顧 165
8.1.□ 反卷積運算 167
8.1.3 反池化過程 169
8.1.4 反卷積與分數步伐 170
8.1.5 輸出圖像尺寸公式 171
8.1.6 批正則化技術 17□
8.□ 圖像生成實驗1——□小均方誤差模型 173
8.□.1 模型思路 173
8.□.□ 代碼實現 174
8.□.3 運行結果 178
8.3 圖像生成實驗□——生成器—識別器模型 180
8.3.1 生成器—識別器模型的實現 180
8.3.□ 對抗樣本 183
8.4 圖像生成實驗3——GAN 186
8.4.1 GAN的總體架構 187
8.4.□ 程序實現 188
8.4.3 結果展示 191
8.5 小結 193
8.6 Q&A 193
8.7 擴展閱讀 194
第9章 詞匯的星空——神經語言模型與Word□Vec 195
9.1 詞向量技術介紹 195
9.1.1 初識詞向量 195
9.1.□ 傳統編碼方式 196
9.□ NPLM:神經概率語言模型 197
9.□.1 NPLM的基本思想 198
9.□.□ NPLM的運作過程詳解 198
9.□.3 讀取NPLM中的詞向量 □01
9.□.4 NPLM的編碼實現 □0□
9.□.5 運行結果 □05
9.□.6 NPLM的總結與□限 □07
9.3 Word□Vec □07
9.3.1 CBOW模型和Skip-gram模型的結構 □07
9.3.□ 層次歸一化指數函數 □08
9.3.3 負采樣 □09
9.3.4 總結及分析 □10
9.4 Word□Vec的應用 □10
9.4.1 在自己的語料庫上訓練Word□Vec詞向量 □10
9.4.□ 調用現成的詞向量 □1□
9.4.3 女人 □人=皇后 國王 □14
9.4.4 使用向量的空間位置進行詞對詞翻譯 □16
9.4.5 Word□Vec小結 □17
9.5 小結 □17
9.6 Q&A □18
□ □0章 深度網絡 LSTM作曲機——序列生成模型 □□0
10.1 序列生成問題 □□0
10.□ RNN與LSTM □□1
10.□.1 RNN □□1
10.□.□ LSTM □□7
10.3 簡單01序列的學習問題 □31
10.3.1 RNN的序列學習 □3□
10.3.□ LSTM的序列學習 □41
10.4 LSTM作曲機 □44
10.4.1 MIDI文件 □44
10.4.□ 數據準備 □45
10.4.3 模型結構 □45
10.4.4 代碼實現 □46
10.5 小結 □54
10.6 Q&A □55
10.7 擴展閱讀 □55
□ □1章 神經機器翻譯機——端到端機器翻譯 □56
11.1 機器翻譯簡介 □57
11.1.1 基于規則的機器翻譯技術 □57
11.1.□ 統計機器翻譯 □58
11.1.3 神經機器翻譯 □58
11.1.4 關于Zero-shot翻譯 □59
11.□ 編碼—解碼模型 □59
11.□.1 編碼—解碼模型總體架構 □60
11.□.□ 編碼器 □60
11.□.3 解碼器 □63
11.□.4 損失函數 □67
11.□.5 編碼—解碼模型歸納 □69
11.□.6 編碼—解碼模型的效果 □69
11.3 注意力機制 □70
11.3.1 神經機器翻譯中的注意力 □71
11.3.□ 注意力網絡 □71
11.4 更多改進 □75
11.4.1 GRU的結構 □75
11.4.□ 雙向GRU的應用 □75
11.5 神經機器翻譯機的編碼實現 □76
11.5.1 神經網絡的構建 □80
11.5.□ 神經網絡的訓練 □83
11.5.3 測試神經機器翻譯機 □86
11.5.4 結果展示 □87
11.6 更多改進 □91
11.6.1 集束搜索算法 □91
11.6.□ BLEU:對翻譯結果的評估方法 □93
11.6.3 對編碼—解碼模型的改進 □94
11.7 廣義的翻譯 □95
11.7.1 廣義翻譯機 □95
11.7.□ 廣義翻譯的應用場景 □95
11.8 Q&A □97
□ □□章 更強的機器翻譯模型——Transformer □99
1□.1 Transformer概述 □99
1□.1.1 編碼—解碼模型回顧 300
1□.1.□ Transformer全景概覽 300
1□.1.3 神奇的自注意力 301
1□.□ Atoken旅行記 304
1□.□.1 奇怪的序號牌 304
1□.□.□ 分身之門 305
1□.□.3 新朋友 306
1□.3 Transformer部件詳解 306
1□.3.1 詞嵌入與位置嵌入 306
1□.3.□ 自注意力模塊計算詳解 307
1□.3.3 自注意力層的矩陣計算 309
1□.3.4 殘差連接與層歸一化 310
1□.3.5 逐點計算的前向網絡層 311
1□.3.6 解碼器中的自注意力 311
1□.3.7 解碼器的輸出層 31□
1□.4 動手訓練一個Transformer翻譯模型 313
1□.4.1 翻譯模型中輸入單位的粒度 313
1□.4.□ 模型定義 313
1□.4.3 模型訓練 318
1□.4.4 Transformer相關開源庫 319
1□.5 小結 319
□ □3章 學習跨任務的語言知識——預訓練語言模型 3□0
13.1 語言模型簡要回顧 3□0
13.□ 預訓練Transformer詳解 3□□
13.□.1 深入了解GPT 3□3
13.□.□ 深入了解BERT 3□4
13.□.3 模型微調 3□6
13.□.4 模型表現 3□7
13.3 單句分類:BERT句子分類實戰 3□8
13.4 后BERT時代 334
13.5 小結 334
□ □4章 人體姿態識別——圖網絡模型 335
14.1 圖網絡及圖論基礎 335
14.1.1 圖的基本概念 335
14.1.□ 什么是圖網絡 337
14.1.3 圖網絡的基本任務和應用場景 338
14.□ 圖卷積網絡 338
14.□.1 GCN的工作原理 338
14.□.□ 打開GCN的黑箱 340
14.□.3 從社團劃分任務來理解GCN 341
14.3 實戰:使用GCN識別人體姿態 344
14.3.1 數據來源與預處理 345
14.3.□ 代碼實現 346
14.4 小結 350
□ □5章 AI游戲高手——深度強化學習 351
15.1 強化學習簡介 35□
15.1.1 強化學□□要素 35□
15.1.□ 強化學□□應用場景 353
15.1.3 強化學□□分類 354
15.□ 深度Q學習算法 355
15.□.1 Q學習算法 356
15.□.□ DQN算法 357
15.□.3 DQN在雅達利游戲上的表現 359
15.3 DQN玩Flappy Bird的PyTorch實現 361
15.3.1 Flappy Bird的PyGame實現 361
15.3.□ DQN的PyTorch實現 368
15.4 小結 377
15.5 通用人工智能還有多遠 378
15.6 Q&A 379
15.7 擴展閱讀 380
作者簡介
集智俱樂部(Swarma Club)成立于□003年,是一個從事學術研究、享受科學樂趣的探索者團體,也是國內致力于研究人工智能、復雜系統的科學社區之一,倡導以平等開放的態度、科學實證的精神,進行跨學科的研究與交流,力圖搭建一個中國的“沒有圍墻的□□□”。目前已出版書籍有《科學的□□:漫談人工智能》《走近□050:注意力、互聯網與人工智能》《NetLogo多主體建模入門》,譯作有《深度思考:人工智能的終點與人類創造力的起點》。