在當今科技迅猛發展的時代,人工智能(AI)無疑是最熱門的領域之一。隨著基礎模型的涌現和開源 / API 的普及,一種新興的職業 ——AI 工程師,正逐漸嶄露頭角。他們在 AI 技術的應用和開發中扮演著關鍵角色,其崛起背后有著諸多深刻的原因,并且正在重塑整個科技行業的格局。今天,就讓我們深入探究 AI 工程師這一職業的發展脈絡。
AI 工程師的崛起之勢
近年來,AI 領域發生了翻天覆地的變化。曾經,在 2013 年,完成一些 AI 任務往往需要耗費 5 年時間,還得依靠專業的研究團隊。然而到了 2023 年,借助基礎模型的涌現能力以及開源資源和 API 的便捷獲取,許多 AI 任務變得輕松許多,只需要查閱 API 文檔,利用一個閑暇的下午就能完成。這種巨大的轉變,促使了 AI 應用領域的 “向右轉移”,也催生了 AI 工程師這一新興職業。
AI 工程師的身影如今遍布各個角落,從微軟、谷歌這樣的行業巨頭,到 Figma(通過收購 Diagram)、Vercel(如 Hassan El Mghari 的 RoomGPT)、Notion(如 Ivan Zhao 和 Simon Last 與 Notion AI 的合作)等前沿初創公司,再到像 Simon Willison、Pieter Levels(參與 Photo/InteriorAI 項目)、Riley Goodside(現任職于 Scale AI)這樣的獨立開發者。他們的薪資水平也相當可觀,在 Anthropic 從事提示工程的 AI 工程師年薪可達 30 萬美元,而在 OpenAI 構建軟件的工程師年薪更是高達 90 萬美元。他們利用業余時間在 AGI House 鉆研新想法,在相關社區分享經驗,將 AI 的最新進展轉化為數百萬用戶使用的實際產品,幾乎是在一夜之間讓創新成果走進大眾生活。
AI 工程師與其他角色的區別
在科技行業的職業版圖中,AI 工程師與機器學習工程師、數據科學家等角色有著明顯的區別。雖然目前 Indeed 上機器學習工程師的崗位數量是 AI 工程師的 10 倍,但從發展趨勢來看,“AI” 相關崗位的增長率更高,預計 5 年后這一比例將會反轉。
很多人仍然將 AI 工程視為機器學習或數據工程的一種形式,在討論如何進入 AI 工程領域時,推薦的學習路徑往往還是機器學習相關的課程,比如吳恩達在 Coursera 上的課程,以及學習 PyTorch 等。然而,那些高效的 AI 工程師們,很多都沒有經歷過這些。他們的工作重點并非傳統的模型訓練和深入的數據工程,而是更側重于將 AI 技術應用于實際產品中,利用各種工具和 API,快速實現產品的開發和迭代。
AI 工程師崛起的原因
基礎模型的 “神奇能力”
基礎模型展現出了令人驚嘆的 “少樣本學習”“上下文學習” 甚至 “零樣本遷移” 能力。這些能力超出了模型訓練者最初的預期,即使不是 LLM 研究人員,只要花時間與模型 “打交道”,將其應用于一些研究中未被重視的領域,比如 Jasper 在文案創作方面的應用,就能挖掘出模型的新用途。這使得更多軟件工程師有機會參與到 AI 產品的開發中,推動了 AI 工程師這一職業的興起。
研究人才與資源的分布
微軟、谷歌、Meta 等大型公司以及基礎模型實驗室,匯聚了大量稀缺的研究人才,他們通過提供 “AI 研究即服務” 的 API,讓外部開發者也能使用這些強大的模型。雖然無法直接聘請這些研究人才,但軟件工程師可以借助 API 來發揮模型的作用。全球大約有 5000 名 LLM 研究人員,而軟件工程師卻有約 5000 萬。這種供需關系決定了需要有一類介于研究人員和普通軟件工程師之間的角色,即 AI 工程師,來滿足市場對 AI 應用開發的需求。
GPU 資源的競爭與獲取
GPU 在 AI 計算中至關重要,OpenAI、微軟等率先在 GPU 資源上占據優勢,Stability AI 更是通過強調其擁有 4000 個 GPU 的集群,引發了初創公司的 GPU 軍備競賽。許多新創公司,如 Inflection、Mistral、Reka、Poolside、Contextual 等,為了擁有自己的硬件資源,紛紛籌集大量資金。全球芯片短缺的情況更是加劇了這種競爭,使得獲取 GPU 資源變得愈發困難。這也導致更多的 AI 工程師傾向于利用 API 使用現有模型,而非自己訓練模型。
開發流程的變革
傳統的機器學習開發流程較為繁瑣,數據科學家和 ML 工程師需要先進行大量的數據收集工作,然后訓練特定領域的模型,最后才能將其投入生產。而現在,借助 LLM,產品經理和軟件工程師可以先通過提示(prompt)構建和驗證產品想法,之后再獲取特定數據進行微調。這種 “先開槍,再瞄準” 的敏捷開發方式,相比傳統的 “瀑布式” 開發流程,速度提升了 10 - 100 倍,成本降低了 1000 - 10000 倍,讓 AI 工程師能夠更高效地驗證 AI 產品,也凸顯了他們在快速迭代開發中的重要性。
編程語言與工具的拓展
以往,數據和 AI 領域主要以 Python 語言為主,像 LangChain、LlamaIndex 和 Guardrails 等早期 AI 工程工具都源于 Python 社區。然而,JavaScript 開發者的數量與 Python 開發者相當,如今越來越多的工具開始兼顧 JavaScript 開發者,如 LangChain.js、Transformers.js 以及 Vercel 的新 AI SDK。這使得 AI 開發的受眾群體大幅擴大,為 AI 工程師提供了更廣闊的發展空間。
生成式 AI 的興起
“生成式 AI” 這一概念雖然熱度有所變化,但它清晰地展現了與傳統 ML 的差異。傳統 ML 主要集中在欺詐風險、推薦系統、異常檢測和特征存儲等領域,而 AI 工程師則更多地涉足寫作應用、個性化學習工具、自然語言電子表格以及類似 Factorio 的可視化編程語言等新興領域。這種差異促使 AI 工程師逐漸形成一個獨立的群體。
AI 工程師在軟件進化中的角色
6 年前,Andrej Karpathy 提出了軟件 2.0 的概念,將傳統手工編碼的編程語言與機器學習的神經網絡進行對比,強調神經網絡能讓軟件解決更多人類難以建模的問題。如今,他又指出,熱門的新 “編程語言” 是英語,這意味著軟件正從 2.0 向更廣闊的方向發展,邁向軟件 3.0 時代。
在這個過程中,提示工程曾備受關注,但也伴隨著過度炒作。隨著軟件 3.0 應用的發展,人類編寫的代碼重新發揮重要作用,與 LLM 的力量相互配合。從市值超 2 億美元的 Langchain,到英偉達支持的 Voyager,都彰顯了代碼生成和復用的重要性。未來,像 smol - developer、gpt - engineer 等代碼生成工具將成為 AI 工程師的重要工具,AI 在工程領域的作用也將越來越大,直到有一天,我們或許都難以區分人類工程師和 AI 在工程中的界限。
AI 工程師的盛會:AI Engineer Summit
隨著 AI 工程師群體的不斷壯大,他們需要一個交流和學習的平臺。為此,經過數月籌備,首屆獨立舉辦、面向開發者的 AI 會議 ——AI Engineer Summit 應運而生。會議將于 10 月 8 - 10 日在舊金山舉行,同時也支持線上參與。會議旨在匯聚頂尖的 AI 工程師、創業者和投資者,共同探討 AI 領域的前沿技術、參加或教授相關工作坊,為參會者提供尋找新工具、新員工、聯合創始人或投資機會的平臺。會議將涵蓋 AI 用戶體驗、開發工具、基礎設施、智能體,以及新的 LLM 工具、開源模型等多個熱門話題。
會議的組織者有著豐富的社區運營經驗,此次與 Reactathon 的 Ben Dunphy 合作,力求打造一場高質量的 AI 工程師盛會。目前,會議正在接受演講者提案和贊助商申請,期待為 AI 工程師們提供一個思想碰撞、交流合作的優質場所。
AI 工程師的崛起是科技發展的必然結果,他們在 AI 技術從研究到應用的轉化過程中發揮著不可替代的作用。隨著這一職業的不斷發展和成熟,相信會有越來越多的人加入這個行列,推動 AI 技術在各個領域的廣泛應用,創造出更多令人驚嘆的科技成果。你是否也對 AI 工程師這一職業充滿向往呢?歡迎在評論區分享你的想法!
科技脈搏,每日跳動。
與敖行客 Allthinker一起,創造屬于開發者的多彩世界。
- 智慧鏈接 思想協作 -