1.?愚蠢的、情緒化的人類

1.1.?與完美理性所設定的不可企及的標準相比，我們都是極其愚蠢的，我們受制于各種情緒的起伏，這些情緒在很大程度上支配著我們的行為

1.2.?為了充分了解人類的認知，我們（或者更確切地說，我們的有益機器）可以對人類行為進行“逆向工程”，以獲取深層的潛在偏好，直到這些偏好出現

1.3.?機器可以輕松模擬其他機器，但不能模擬人

1.3.1.?它們不太可能很快獲得完整的人類認知模型，無論是通用的還是針對特定個人的

1.3.2.?即使是臨時的不完全的答案，對于旨在輔助人類日常生活的各種智能系統來說也是非常有用的

1.4.?從實踐的角度來看，觀察人類偏離理性的主要方式，并研究如何從表現出這種偏離的行為中學習偏好是有意義

1.5.?人類和理性實體之間的一個明顯的區別是：在任意給定的時刻，我們都不是在開啟所有可能的未來生活的所有可能的第一步中進行選擇，甚至還差得很遠

1.6.?人類行為的另一個明顯特征是，它們常常是由情感驅動的

1.6.1.?神經科學家已經開始掌握一些情緒狀態的機制，以及它們與其他認知過程的聯系，并且在檢測、預測和操縱人類情緒狀態的計算方法方面做了一些有用的工作，但還有更多的東西需要學習

1.6.2.?在情感方面，機器也處于劣勢：它們無法對體驗進行內部模擬，以查看會產生何種情緒狀態

1.6.3.?情緒除了會影響我們的行為，還揭示了關于我們潛在偏好的有用信息

1.6.4.?人們應該有可能創建出人類情感狀態的基本模型，從而足以避免根據行為推斷人類偏好時出現的最嚴重的錯誤

2.?不確定性和錯誤

2.1.?人類有一個明顯的特點，那就是并不總是知道自己想要什么

2.2.?偏好的不確定性至少有兩種

2.2.1.?第一種是真實的、認知上的不確定性

2.2.2.?第二個問題來自計算能力的限制：對于面前擺著的兩盤圍棋棋局，我不確定我更喜歡哪一盤棋局，因為無論哪一盤棋局我都無力下贏

2.2.3.?不確定性也源于這樣一個事實，即呈現在我們面前的選擇通常不是完全明確的，有時非常不完全，它們甚至根本不具備資格成為一項選擇

2.3.?思想實驗當然不可能在實踐中進行，但人們可以想象，在許多情況下，在每一部電影的所有細節都被填充并被充分體驗之前，一個清晰的偏好就已經出現了

3.?經驗和記憶

3.1.?丹尼爾·卡尼曼

3.1.1.?Daniel Kahneman

3.1.2.?其在行為經濟學方面的研究獲得了2002年的諾貝爾獎

3.2.?經驗自我是快樂測量儀度量的自我，19世紀英國經濟學家弗朗西斯·埃奇沃思（Francis Edgeworth）把快樂測量儀想象成“一種理想的完美儀器，一臺心理物理機器，可以精確地根據意識的判斷，不斷記錄一個人體驗到的快樂的程度”

3.2.1.?根據享樂效益主義的說法，任何經驗對一個人的整體價值只是經驗中每一刻享樂價值的總和

3.2.2.?事實是，沒有任何定律要求我們在不同經驗之間的偏好是由不同時刻的享樂價值總和來定義的

3.3.?當人們需要做決定時，記憶自我才是“負責人”

3.3.1.?記憶自我基于以前經驗的記憶和它們的可取性選擇新的經驗

3.3.2.?卡尼曼的實驗表明，記憶自我與經驗自我有著截然不同的想法

3.3.2.1.?記憶自我“只是犯了一個錯誤”，選擇了錯誤的經驗，因為它的記憶有缺陷且不完整

3.3.2.2.?記憶自我不僅評估經驗本身，還通過它對未來記憶的影響，來評估它對未來生活價值的總體影響

3.3.2.3.?記憶自我而非經驗自我是對將要記憶的內容的最佳評判

4.?時間和變化

4.1.?隨著人類文明的進步，道德標準顯然會隨著時間的推移不斷演變

4.1.1.?你如果愿意，也可以說是墮落

4.1.2.?反過來又表明，我們現在對待動物的幸福的態度可能會讓我們的后代十分反感

4.1.3.?負責實現人類偏好的機器能夠隨著時間的推移對這些偏好的變化做出反應，而不是一成不變

4.2.?隨著歷史的推移，人類群體的典型偏好可能會發生變化，因此我們自然會將注意力集中在每個人的偏好是如何形成的，以及成人偏好的可塑性問題上

4.3.?偏好變化對個人和社會層面的理性提出了挑戰

4.3.1.?偏好并非不可觸碰，而是隨時都會被一個人的每一次經歷所觸碰和修改

4.3.2.?機器會不由自主地修改人類的偏好，因為機器會改變人類的經驗

4.4.?偏好升級可以填補自我認知的空白，或許還可以為先前擁有的微弱且暫時的偏好增加確定性

4.5.?偏好改變并不是一個過程，不是“關于一個人的偏好實際上是什么”的額外證據

4.6.?偏好改變是存在問題的

4.6.1.?我們不清楚哪些偏好應該在做決定時起主導作用

4.6.2.?似乎沒有明顯的理性基礎來改變（而不是更新）一個人的偏好

4.7.?一個有用的機器人助手的存在，很可能會對人類的偏好產生影響

4.7.1.?一種可能的解決方案是讓機器學習人類的“元偏好”，即關于哪種類型的“偏好改變過程”可以接受或不可接受的偏好

4.7.1.1.?“偏好改變過程”，而不是“偏好改變”

4.8.?并非所有中性偏好都是可取的

4.9.?我們目前還不清楚“行為改變方法”是否真的只是在改變行為

4.9.1.?如果當助推被去掉時，改變后的行為持續存在（這可能是此類干預的預期結果），那么個體的認知結構（將潛在偏好轉化為行為的東西）或個體的潛在偏好就會發生變化，看起來很可能二者兼而有之

5.?有益的機器

5.1.?如果我們成功地創造了可證明有益的人工智能系統，那么我們將消除超級智能機器失控的風險

5.1.1.?以這種方式設計的機器會順從人類：它們會征求許可；當指令不明確時，它們會謹慎行事；而且它們會允許自己被關掉

5.2.?我們站在那個黃金時代的制高點回顧我們現在的生活，我們現在的生活就會顯得像英國哲學家托馬斯·霍布斯（Thomas Hobbes）想象的沒有府政的生活一樣：孤獨、貧窮、骯臟、野蠻又短暫

5.3.?如果外部提供的目標可能是錯誤的，那么機器表現得似乎總是正確的就沒有任何意義

5.4.?隨著我們在其他環境中獲得更多的經驗，我預計我們會對機器與人類交互時的行為范圍和流暢性感到驚訝

5.5.?府政的明顯缺陷是：過度關注府政員官的偏好（財政和治政上的偏好），而對被統治者的偏好關注太少

5.5.1.?偏好本應可以通過選舉傳達給府政，但對于如此復雜的任務，府政的“帶寬”似乎非常小（大約每隔幾年才得到一個字節的信息）

5.5.2.?在大多數家國里，府政僅僅是一群人把自己的意志強加給其他人的一種手段

5.6.?公司則不遺余力地了解客戶的偏好，無論是通過市場調查還是以購買決策的形式直接反饋

5.6.1.?通過廣告、文化影響甚至化學物質上癮來塑造人類的偏好，也是被接受的經商方式

6.?對人工智能的治理

6.1.?人工智能有重塑世界的能力，而對重塑的過程，我們必須以某種方式加以管理和引導

6.2.?人工智能與核技術的情況截然不同

6.2.1.?1957年，國際原子能機構開始運轉，它是全球唯一的監督核能安全與有益發展的機構

6.2.2.?很多家國手里都掌握著人工智能

6.2.2.1.?可以肯定的是，很多家國都資助了大量人工智能研究，但幾乎所有的研究都發生在安全的家國實驗室之外

6.2.2.2.?現在大部分人工智能研發投資都發生在大大小小的公司里

6.2.2.3.?除了騰訊和阿里巴巴，其他所有公司都是“人工智能合作伙伴組織”的成員

6.2.2.3.1.?這是一個行業聯盟，其宗旨之一是承諾在人工智能安全方面進行合作

6.2.2.4.?盡管絕大多數人幾乎不具備人工智能方面的專業知識，但參與者至少有一種表面上的意愿，即愿意考慮人類的利益

6.3.?掌握著大部分人工智能技術的玩家

6.3.1.?它們的利益并不完全一致，但它們都有一個共同的愿望，即隨著人工智能系統變得更加強大，它們都希望保持對人工智能系統的控制

6.4.?對人工智能的治理至少具備發展的潛力

6.4.1.?針對用戶隱私、數據交換和避免種族偏見等問題的協議、規則和標準開始出現

6.4.2.?有一個共識是，如果人工智能系統是可信的，那么人工智能決策必須是可以解釋的，這一共識已經在歐盟的GDPR條例中得到部分實施

6.4.3.?可解釋和模仿問題，無疑與人工智能的安全和控制問題有關

6.5.?軟件供應商可以提出額外的模板，只要他們能證明這些模板滿足（當時定義良好的）安全性和可控性的要求

6.6.?從一個不受監管的世界過渡到一個受監管的世界將是一個痛苦的過程

6.6.1.?希望科技行業不需要切爾諾貝利事故那樣（或者更糟糕）的災難來克服行業的阻力

7.?濫用

7.1.?危險并不在于邪惡的計劃會得逞，而在于這些計劃也會因為失去對智能系統的控制而失敗，尤其是那些滿懷邪惡目標并可以使用武器的計劃

7.2.?我們要使用我們自己的、有益的超級人工智能系統來檢測和摧毀任何懷有惡意或行為不端的人工智能系統

7.2.1.?我們應該使用可用的工具，同時盡量減少對個人自由的影響，但是人類蜷縮在掩體中，完全無力抵擋超級智能所釋放出的巨大力量的情景很難讓人安心，即便其中一些超級智能站在我們這一邊

7.2.2.?人們最好能找到方法，將惡意的人工智能扼殺在萌芽狀態

7.2.3.?良好的開端是成功地、協調一致地開展打擊網絡犯罪的國際運動，包括擴展《布達佩斯網絡犯罪公約》所涵蓋的內容

8.?衰弱與人類自主

8.1.?地球上曾經生活過超過1 000億人。他們（我們）已經花費了大約1萬億人年的時間學習和教學，才使我們的文明得以延續

8.2.?文明延續的唯一可能就是在新一代的頭腦中進行再創造

8.2.1.?紙作為一種傳播方式是不錯的，但記錄在紙上的知識在傳到下一個人的頭腦里之前，紙什么也做不了

8.3.?把我們的文明傳給下一代的實際動機一旦消失，這個過程就很難逆轉了

8.3.1.?大約1萬億人年的累積學習將會丟失

8.4.?機器可以理解人類的自主性和能力，這是我們的生活偏好中一個重要的方面

8.4.1.?機器很可能堅持認為，人類應該對自己的幸福保留控制權和責任，換言之，機器會說不

8.5.?公地悲劇

8.5.1.?對任何一個人而言，通過多年艱苦的學習來獲得機器已經擁有的知識和技能似乎毫無意義，但如果每個人都這樣想，那么人類將會集體失去自主性

8.6.?我們需要一場文化運動來重塑我們的理想以及對自主、能動性和能力的偏好，遠離自我放縱和依賴

8.6.1.?了避免讓糟糕的情況惡化，無論是在解決方案的設計上，還是在為每個人尋求利益均衡的實際過程中，我們可能都需要超級智能機器的幫助

8.6.2.?在某個階段，孩子開始明白，父母完全有能力給他系鞋帶，卻選擇不系

8.6.2.1.?這就是人類的未來嗎，永遠像孩子一樣被超級機器對待？