10月26日，在加州山景城舉辦的ACMMM 2017大會進入正會第三天。在會上，Unity Technology負責AI與機器學習的副總裁Danny Longe進行了題為《Bringing Gaming, VR, and AR to Life with Deep Learning》的演講。在演講中，Danny介紹了Unity作為全球最大的游戲引擎提供商對當下火熱的人工智能與機器學習的看法，并對Unity運用機器學習在游戲與相關的AR、VR技術中的實踐進行了介紹。
盡管從兩年多前Unity就開始醞釀轉型，從一家從純引擎提供商轉向互聯網+云增值服務，但Danny Longe才是Unity最近在AI領域發力的背后推手。在加入Unity之前，Danny曾擔任Uber機器學習負責人，在更早之前，Danny還負責過亞馬遜和微軟的機器學習產品研發，毫無疑問，Danny在機器學習方面深厚的技術背景和專業知識對于Unity希望更好地滿足開發者在快速變化的游戲開發需求，以及推進AR/VR領域的新應用至關重要。而Danny也向我們介紹了Unity深度學習應用的四個方向，包括：
1. 讓游戲開發者更好實現變現，包括關聯性更強的廣告，更好地將游戲、玩家和開發者進行匹配等；
2. 為玩家提供深度學習藝術工具，幫助開發者更好進行游戲創作；
3. 具備高度擴展性的游戲模擬環境，如更好模擬真實世界的物理模型以及自動駕駛模擬環境等；
4. 讓游戲開發者通過運用AI工具提升能力。
隨后Danny為我們詳細介紹了這四個方向的應用。
Unity已經成為世界上最大的3D游戲引擎，這也使得Unity需要不斷思考如何將玩家與游戲進行更好地進行匹配。然而，由于游戲玩家通常只是下載游戲進行娛樂，而不會填寫如年齡、性別等信息，這也使得Unity需要從其他特征方式，如游戲的畫面、音效、文本等信息對玩家進行描述和劃分。
而在廣告匹配上，Danny則笑稱使用機器學習找到真正對廣告感興趣的人與他當時在Amazon使用機器學習剔除虛假評論是一樣的，當時他們使用了兩個不同的網絡，一個生成虛假評論，一個對虛假評論進行判別，在這樣的對抗中生成和判斷均得到了提高；
在幫助開發者更好進行游戲創作方面，Danny為我們展示了若干個實例：
-
更好的游戲光影渲染效果；
-
不同畫面、紋理的合成與變異生成，將具有不同風格的圖片拼接成一張更自然的圖片；
-
簡易場景構建工具，可以從已有的素材中進行學習，然后通過簡單的涂抹方式生成新的素材；
-
提高圖片的分辨率，可以將256x256分辨率的普通圖片提升到4K的分辨率；
-
使用GAN來改變畫面、視頻的式樣，等等。
機器學習在素材創作的應用：輸入左上角的樹木素材（Style），得出左下角的模式圖（Guide），然后通過涂鴉（Doodle）方式，即可得到與涂鴉一致的樹木素材（Server Output）。
在環境模擬方面，Danny稱目前的機器人通常只能完成機械的工作，而遷移學習可以讓機器人獲得更好的擴展性（如學會抓取不同形狀、位置的東西）。Unity新推出的Machine Learning Agents則可以建立起一個符合現實物理規則的強大訓練場景，例如各種3D模型、紋理、光影效果、物體的碰撞反彈、甚至橡膠輪胎與混凝土地面的摩擦，而這樣的游戲場景可以幫助人工智能研究人員更好地模擬和訓練用于真實世界的機器人和如自動駕駛等AI應用。
（由Unity創建的一個網球游戲RL/ML模擬訓練環境示例）
Danny為我們展示了用機器學習來訓練一個簡單的“小雞過馬路”的場景。一開始小雞很容易被汽車撞到，但通過設置獎勵和懲罰（吃到的寶箱、被車撞到）和通過一段時間的學習后，這只“小雞”迅速達到了專業級的水平。同樣在游戲中，假如要訓練一個NPC，那么游戲開發者只需要創建一個游戲場景，設定游戲規則（如避免被玩家殺掉）和利用與Python API相聯的“云加強學習”來訓練NPC。當這個NPC的性能已經達到要求時候，游戲開發者就能利用另一組Unity API將TensorFlow模型直接嵌入他們的游戲中，而無需另行編碼和連接云平臺。
在Danny看來，AI在游戲領域推進是這樣一個循環：首先AI可以幫助我們發現游戲中的問題，并進行相應的行動，然后得到獎勵，而通過這個獎勵又能幫助我們更好地研究新的問題。而在這當中通過設置不同的獎勵值，包括游戲時間的長短、升級、游戲內購買、游戲操控行為方式（觸摸、點擊、拖拽）甚至語音、情感、姿勢、力量等，會得到不同的改進。
在演講結束后的提問環節，雷鋒網與Danny Longe也進行了短暫交流：
雷鋒網: 您剛才演講中提到，用Unity Machine learning agent可以構建一個適合自動駕駛的訓練場景，這樣做有什么好處和不足呢？
Danny：好處當然是可以更容易營造一個自動駕駛的環境。不足之處在于，沒有人知道如何模擬一個真實的城市，像把舊金山放到自動駕駛的場景中來，這是非常難的一件事情。你需要在道路上放上其他汽車和行人，而且如果他們是按照設定的模式運動，在這個環境中的無人駕駛車無法學到任何東西。這也是為什么像Waymo這樣的公司還是堅持在實際道路上測試的原因，但我們也在努力改進。
雷鋒網(公眾號：雷鋒網): 您在微軟、Amazon、Uber和Unity幾家知名公司都負責過機器學習，能介紹這幾家公司在使用機器學習上有什么相同點或者不同點嗎？
Danny: 無論在微軟、Amazon、Uber，雖然需要解決的任務各自不同，用的都是同一種算法，而在Unity，在游戲領域也是如此，我們希望讓開發者更好地賺錢，這和我們在Amazon希望賣給你更多的書本質上是相同的。但另一方面，Amazon或者Uber本質上來說，無論是賣更多東西或者讓車更快到接到你，這從本質上來說都是使用數據，而在游戲世界，我們要做的是讓游戲從之前的環境中學習，并讓玩家與游戲的互動變得越來越接近自然。這就是我們為何引入機器學習的原因。
