人工智能
人工智能的簡潔定義如下：努力將通常由人類完成的智力任務自動化。
因此，人工智能是一個綜合性的領域，不僅包括機器學習與深度學習，還包括更多不涉及學習的方法。
在相當長的時間內，許多專家相信，只要程序員精心編寫足夠多的明確規則來處理知識，就可以實現與人類水平相當的人工智能。這一方法被稱為符號主義人工智能。但它難以給出明確的規則來解決更加復雜、模糊的問題，比如圖像分類、語言識別和語言翻譯。于是出現了一種新的方法來替代符號主義人工智能，這就是機器學習。
機器學習
機器學習的概念來自于圖靈的這個問題：對于計算機而言，除了“我們命令它做的任何事情”之外，它能否自我學習執行特定任務的方法？計算機能否讓我們大吃一驚？如果沒有程序員精心編寫的數據處理規則，計算機能否通過觀察數據自動學會這些規則？
利用機器學習，人們輸入的是數據和從這些數據中預期得到的答案，系統輸出的是規則。這些規則隨后可應用于新的數據，并使計算機自主生成答案。
機器學習系統是訓練出來的，而不是明確地用程序編寫出來的。將與某個任務相關的許多示例輸入機器學習系統，它會在這些示例中找到統計結構，從而最終找到規則將任務自動化。這是一門需要上手實踐的學科，想法更多地是靠實踐來證明，而不是靠理論推導。
給定包含預期結果的示例，機器學習將會發現執行一項數據處理任務的規則。因此，我們需要以下三個要素來進行機器學習。
- 輸入數據點。
- 預期輸出的示例。
- 衡量算法效果好壞的方法。這一衡量方法是為了計算算法的當前輸出與預期輸出的差距。衡量結果是一種反饋信號，用于調節算法的工作方法。這個調節步驟就是我們所說的學習。
機器學習模型將輸入數據變換為有意義的輸出，這是一個從已知的輸入和輸出示例中進行“學習”的過程。因此，機器學習和深度學習的核心問題在于有意義地變換數據，換句話說，在于學習輸入數據的有用表示—這種表示可以讓數據更接近預期輸出。
什么是表示？這一概念的核心在于以一種不同的方式來查看數據（即表征數據或將數據編碼）。機器學習模型都是為輸入數據尋找合適的表示—對數據進行變換，使其更適合手頭的任務（比如分類任務）。
機器學習中的學習指的是，尋找更好數據表示的自動搜素過程。
所有機器學習算法都包括自動尋找這樣一種變換：這種變換可以根據任務將數據轉化為更加有用的表示。這些操作可能是前面提到的坐標變換，也可能是線性投影（可能會破壞信息）、平移、非線性操作等等。機器學習算法在尋找這些變換時通常沒有什么創造性，而僅僅是遍歷一組預先定義好的操作，這組操作叫作假設空間。
這就是機器學習的技術定義：在預先定義好的可能性空間中，利用反饋信號的指引來尋找輸入數據的有用表示。這個簡單的想法可以解決相當多的智能任務，從語音識別到自動駕駛都能解決。
深度學習
深度學習是機器學習的一個分支領域：它是從數據中學習表示的一種新的方法，強調從連續的層中進行學習，這些層對應于越來越有意義的表示。“深度學習”中的“深度”指的并不是利用這種方法所獲取的更深層次的理解，而是指一系列連續的表示層。數據模型中包含多少層，這被稱為模型的深度。
在深度學習中，這些分層表示幾乎總是通過叫做神經網絡的模型來學習得到的。神經網絡的結構是逐層堆疊。神經網絡這一術語來自于神經生物學，然而，雖然深度學習的一些核心概念是人們對大腦的理解中汲取部分靈感而形成的，但深度學習模型不是大腦模型。沒有證據表明大腦的學習機制與現代深度學習模型所使用的相同。
就我們的目的而言，深度學習是從數據中學習表示的一種數學框架。
你可以將深度網絡看作多級信息蒸餾操作：信息穿過連續的過濾器，其純度越來越高（即對任務的幫助越來越大）。
這就是深度學習的技術定義：學習數據表示的多級方法。這個想法很簡單，但事實證明，非常簡單的機制如果具有足夠大的規模，將會產生魔法般的效果。
神經網絡中每層對輸入數據所做的具體操作保存在該層的權重中，其本質是一串數字。用術語來說，每層實現的變換由其權重來參數化，權重有時也被稱為該層的參數。在這種語境下，學習的意義是為神經網絡的所有層找到一組權重值，使得網絡能夠將每個示例輸入與其目標正確地一一對應。
想要控制一件事情，首先需要能夠觀察它。想要控制神經網絡的輸出，就需要能夠衡量該輸出與預期值之間的距離。這就是神經網絡損失函數的任務，該函數也叫作目標函數。
深度學習的基本技巧是利用這個距離值作為反饋信號來對權重值進行微調，以降低當前示例對應的損失值。這種調節由優化器來完成，它實現了所謂的反向傳播算法，這是深度學習的核心算法。
隨著網絡處理的示例越來越多，權重值也在向正確的方向逐步微調，損失值也逐漸降低。這就是訓練循環（training loop），將這種循環重復足夠多的次數（通常對數千個示例進行數十次迭代），得到的權重值可以使損失函數最小。具有最小損失的網絡，其輸出值與目標值盡可能地接近，這就是訓練好的網絡。再次強調，這是一個簡單的機制，一旦具有足夠大的規模，將會產生魔法般的效果。
