哪些基于 LLMs 的產品值得開發？從用戶體驗和市場接受度的角度探討

編者按：在大語言模型（LLMs）相關技術高速發展的今天，哪些基于 LLMs 的產品真正值得我們投入精力開發？如何從用戶體驗和市場接受度的角度評估這些產品的潛力？

今天為大家分享的這篇文章，作者的核心觀點是：優秀的產品應該將 GenAI 無縫集成到現有工作流中，引入 AI 不僅要能為用戶提供高價值、變革性的體驗，同時還需兼顧用戶的使用習慣，最好不要增加用戶的學習成本。

正如本文所強調的，在追求技術創新的同時，我們不應忘記用戶的實際需求和使用習慣。本文所介紹的內容為我們對 GenAI 產品的思考提供了新的視角，提醒我們在產品的設計、開發過程中應始終將用戶體驗置于核心位置。

我們相信，隨著 AI 技術的不斷進步，未來會涌現出更多創新應用場景。但無論技術如何發展，以用戶為中心的產品理念始終是成功的關鍵，也應當是產品的初心。

作者 | Alexey Evdokimov

編譯?|?岳揚

最近我一直在思考，在我腦海中涌現出的眾多生成式 AI 產品構想中，哪些是值得我們深入探索的。為此，我初步設計了多個不同版本的 prompts ，向 ChatGPT 詢問有關當前 AI 產品（涵蓋消費者端 B2C 及企業端 B2B）成功與失敗的根本原因。

這是我從 GPT-4o 獲得的模型響應[1]（點擊題注鏈接可以查看）。我認為在多個版本 prompts 的回答中，這一個最為出色。如果 GPT-4o 的回答已經讓你足夠滿意了，那么你可以隨時選擇跳過后續內容。😉

查看完整答案：https://chatgpt.com/share/a08c7c15-726b-4dd8-b96b-395b80a96edd

然而，這種膚淺的回答并未觸及生成式 AI 的獨到之處。原因很簡單：這是一個新興領域，GPT-4o 訓練數據中關于 GenAI 產品成功要素的信息尚不充分。

在這種情況下，可能不如直接使用 Google 搜索來得快捷和全面。以下是我認為最具吸引力的深度內容：

Aniket Deosthali 所著的《Winning the AI Products Arms Race》[2]中，作者不僅深入分析了基于 GPT 的產品，也從不同角度對傳統 AI 產品進行了全面、深入地探討。他基于 “Consideration x Context” 框架提出的 “AI Survival Curve”，尤為引人注目。
哪些 AI 產品創意（AI product ideas）值得我們去探索呢？[3]本文著重探討了如何根據技術可行性選擇可能成功的 GenAI 產品創意。我特別喜歡他們對 AI performance 的明確定義，這也是他們分析的基礎。高性能（High performance）無疑是通往成功的關鍵。

這兩篇文章都強調，數據質量不佳（即缺乏充分、優質的上下文信息）是導致眾多 AI 項目“折戟沉沙”的關鍵原因之一。 毫無疑問，“向大語言模型輸入的數據越優質，模型產生的響應結果就越出色”。然而，在實際應用中，許多目標任務的處理與解決并不依賴于海量數據；很多時候，僅需一條簡潔的提示詞和一份精煉的文檔，生成式 AI 就能高效、高質量地完成工作。

與傳統的人工智能相比，GPT 系列模型的預訓練特性，無疑是一種巨大的優勢 —— 傳統人工智能往往受限于必須對每類具體任務進行訓練。我們需要充分利用這一優勢。

01 What You Will Find Below

我提供了另外一種不同的視角，探討哪些基于 LLM 技術的產品具有開發價值。

本文的預設條件為：如前文所述，許多產品構想即便在缺乏大量優質數據的情況下也能付諸實踐。
此外，我沒有將那些可能制約產品質量的技術約束🚫納入考量范圍。

本文的重點集中于用戶的行為模式（user behavior） 之上。在分析過程中，本文將著重于挖掘 LLM 產品的獨特之處，而非泛泛討論創新產品普遍遵循的規律。

“哪些生成式人工智能（GenAI）產品值得我們投入精力開發？”這個問題非常寬泛，即便我們將那些使用了其他技術但沒有使用大語言模型（LLMs）的產品，如語音轉文本(TTS)、文本轉語音(STT)、diffusion transformers 等排除在外也是如此。因此，

我決定將這個問題的解答分為兩部分。第一部分聚焦于用戶對產品的態度，即市場接受度，相關內容在本文中詳述。后續將要發表的第二部分內容，會深入探討針對產品創意的商業分析（business analysis of product ideas），特別是競爭態勢方面（competition aspects）。
在撰寫這兩篇文章的過程中，我僅著眼于兩種商業模式：直接面向消費者(B2C)與通過企業間接服務消費者(B2B2C) 。這也就意味著，我并未涉及企業間交易(B2B)的產品或是企業內部的研發成果；因為這些產品往往更多地受制于企業自身的需求和政策導向，而非終端用戶的實際需求，這類產品能否在市場上立足，取決于另一套迥異的標準體系。

本文將探討基于 LLMs 的軟件產品（面向終端用戶的 APP）的一系列相關議題：

GenAI App 的成功程度，與用戶能接受的錯誤范圍有何種聯系？
專業的 AI copilot 需要哪些獨特功能，才能在與 ChatGPT 這類熱門 AI chatbots 的競爭中脫穎而出？
我們怎樣才能消除用戶面對新技術時的習慣性抵觸心理，促使他們主動擁抱變化？
一個由 LLMs 驅動的“全面（whole）”產品應具備哪些要素？
除了產品本身的完整性（completeness），GenAI 產品要實現市場突破，還需考慮哪些重要因素？

接下來，我們將剖析兩類可能遭遇滑鐵盧**的應用🚫，以及兩類有望經受市場考驗的應用?。

02 質量標準高或質量監控成本高的應用可能會失敗 🚫

LLM 的推理結果不可預測且難以評估：

點擊查看完整版PPT

即便產品初期受到用戶好評，但不同用戶群體或同一用戶在不同情況下，對產品的評價可能天差地別。更重要的是，隨著知識庫的不斷擴充，原先表現良好的場景也可能出現效果下滑的情況。即使切換到所謂“更高質量”的 LLMs，也可能因此出現性能下降。

因此，持續監控基于 LLMs 的應用的性能質量，是確保其成功的關鍵所在。

若一款產品無法讓人可以有效監督其性能表現，而僅憑模型的自我評估又不能夠避免出錯，那這款產品很可能難以在市場上立足。 （實際上，很難找到能放手讓 LLMs 去評估自己輸出質量的實際案例。）

歸根結底，這種情況取決于用戶對產品出現錯誤的容忍程度：

當 LLM App 的輸出質量遠超用戶所能容忍的程度時，使用模型本身或另一套模型來進行評估，或是干脆放棄對其進行監控，都是可行策略。
在那些對錯誤零容忍的領域（比如出現1%的錯誤率都不可被接受的產品） ，開發基于 LLMs 的應用似乎沒有太多意義。然而，即便考慮到修復 LLM 出現的錯誤所需的人力成本，只要產品能夠盈利，那么使用 LLM 依然是個較為劃算的選擇。
還有一種折中的情況：用戶對產品錯誤的容忍度與當前產品的實際表現大致相等。 這時，雖然仍需人工干預，但出手干預的應當是終端用戶，而非產品所在公司的員工。下一章節將專門探討這一主題。

03 專業型 Copilots 正成為市場寵兒?

大語言模型缺乏系統性思維能力，在全面把握復雜上下文時存在局限。它們往往在處理罕見、超出數據訓練范疇或系統設定之外的情況時捉襟見肘。因此，LLMs 的輸出結果需要進行人工復查（參照前文討論過的模型評估機制）。理想情況下，產品使用者應擔當起人工評估者（human evaluators）。

不過，要讓這一模式奏效，用戶對輸出質量的預期必須合理，不能抱有不切實際的期望。終端用戶應當把 AI 視為助理伙伴（assistant），而非必須無條件提供優質服務的外部供應商（external provider）。

基于這些考慮，市場開始擁抱 “AI copilots” 這一理念。盡管有些人可能傾向于將 “AI copilots” 簡單等同于一般的 “AI assistants” ，但在我看來[4]， “AI copilots” 實則是 “AI assistants” 家族中的進階成員。它們的作用遠不止于提供信息（inform）和給出建議（advise），還能在其設計的產品中，獨立完成一系列復雜操作。

大多數 “AI copilots” 的功能都非常豐富，它們大多嵌入于多功能產品（multi-purpose products）中，與其說是一款單一的應用程序（applications），這些產品更像是一個開放平臺（platforms）。舉個例子🙋?♀?🌰，Github 是一款所有程序員的“平臺（platform）”，而?Microsoft Office 365?則是服務于所有辦公室職員（office workers）及知識工作者（knowledge professionals）的“平臺”，兩者均配備了 “AI copilots”。同時，諸如 Windows 和 iOS 這樣的操作系統也在嘗試引入“AI copilots” 。

AI Copilot. Image created by the author with Recraft.ai

盡管 “AI copilots” 市場看似已經非常飽和，但我堅信仍有足夠的空間讓創新產品嶄露頭角。不過，初創公司所開發的 “AI copilots” 不應盲目追求與 GitHub Copilot X 或 Shopify Sidekick 等行業巨頭一樣以多功能為目標。

真正的機遇在那些專注于特定垂直領域的 “AI copilots”，它們能夠比任何通用型（general-purpose） “AI assistant” 更高效地為專業人士提供幫助。 雖然實現這一目標絕非易事，但值得一試。

試想一下，專門為培訓講師（如培訓專家（experts）和課程開發者（course creators））打造的 “AI copilots”。這樣的工具應比 ChatGPT 更勝一籌，不僅能夠提升課程質量，還能大幅減少所需的工作量：

應當體現培訓講師（trainer）獨有的專業素養（expertise）與教學風格（teaching style）。
當其目標不再局限于課程策劃（session planning），而是涵蓋學習資料（learning materials）與學生作業（student assignments）時，“AI copilots” 應具備生成多種形式的內容的能力，而不僅僅限于文本形式。
為了實現工作流程的真正簡化，終端用戶不應局限于復制粘貼 “AI copilots” 的輸出結果。反之，“AI copilots” 需與 LMS（Learning Management Systems）、即時通訊軟件（messengers）或其他課程發布工具（course delivery tools）無縫對接，提供“一站式”的解決方案。

若想在競爭中勝過那些在自家已有平臺內嵌入通用 AI 助手（universal AI assistants）的科技巨頭，專有領域的 “AI copilots” 必須為其目標用戶群體提供價值更高的體驗。其具備的優勢（benefits）不應只是微小的、逐步的增加（incremental），而應該是具有重大影響、能夠帶來根本性變化的（transformative）。

下文將闡述為什么會有這樣的觀點。

04 僅僅能略微帶來便利的 LLMs App 是行不通的🚫

盡管基于生成式 AI 的 App 聲稱能帶來耳目一新的用戶體驗，但是我們卻不能忽視一個事實：多數用戶往往不愿改變自己的使用習慣，無論這種抗拒是有意識的還是來自于潛意識。 在我看來，“conversational UX design” 所帶來的好處被過分吹捧，而依托大語言模型實現的“個性化（personalization）”與“貼合用戶需求（adaptation to user needs）”，其表現可能讓人難以預料，有時甚至還會讓人感到厭煩。

想象一下💭在目前眾多由 LLMs 驅動的應用場景中，用戶需要輸入文字或語音指令（text or voice commands），進而可能經常陷入漫長的對話交流。這種基于聊天的交互模式（chat-based interface）雖然很新穎，但對于那些習慣于動動鼠標🖱點擊操作的普通用戶而言，無疑構成了一定的學習門檻。 語音交互（voice chat）看似彌補了部分不足，但在不少用戶看來，它甚至比文本聊天更加難以掌握。

還存在另一個障礙，要獲取優質的大語言模型輸出結果，往往需要多次迭代優化。這并不純粹歸咎于模型本身的不完善，而是由于用戶在逐步細化自身需求時，自然而然地產生了迭代需求。 為了理解為什么會出現這個問題，不妨比較一下傳統工作流與新興工作流的差異：

傳統模式（沒有 AI assistant 協助）：終端用戶能夠立刻將靈感或新要求納入工作草稿（draft）中，因為對作者來說，定位及編輯特定部分的操作相當便捷。
新型的“人機協作”模式：每出現一個新需求（new requirement），都會觸發整個工作草稿的全面更新，且改動部分隨機分布、不可預知，不易追蹤。這種轉變可能會令用戶感到不適，因為相比用戶親自動手創作，這樣會被迫投入更多精力在閱讀與校對之上。毫無疑問，對多數寫作者而言，創造的樂趣遠勝過閱讀的體驗。

面對這些難題，新興的 AI 應用要想贏得大眾的認可，就必須展現出令人難以抗拒的優勢。

如果只是節省了10%-30% 的工作時間，那遠遠不足以吸引用戶去嘗試使用該應用。這是因為人們內心深處對于打破固有習慣有著天然的抵觸。要克服這種惰性，這款應用帶來的效率提升必須是顛覆性的 ——?不應只是“小打小鬧”般的工作效率提升，而需要成倍地減少工作量。

更重要的是，最好不能僅僅是單純地節省時間。試想一下，如果有一款應用能夠幫助用戶蛻變成他們心中向往的模樣。比如，借助基于 AI 技術的應用，就能讓一個演講能力平平之人，一躍成為具有深遠影響力的思想領袖。

05 將 LLMs “巧妙”整合入原有工作流的 Apps 更受市場歡迎 ?

真正成功、有效的 Apps 能夠將大語言模型與其它功能完美結合，形成一個“完整的產品（whole product）”。該理念最早由杰弗里 · 摩爾（Geoffrey Moore）在其著作《Crossing the Chasm》[5]中提出并廣為流傳。他認為唯有那些能夠從頭到尾（end-to-end）全流程滿足用戶需求的產品，才能快速贏得廣大主流用戶（mainstream users (the majority)）的青睞。而那些僅僅提供核心功能的產品，亦即所謂的“通用產品（generic products）”，往往只能吸引那些喜歡自行搭建解決方案的創新者（innovators）和“早鳥”（early adopters）。

Image source: thinkinsights.net

打造智能化的“whole product”（譯者注：根據前文所述，是指將大語言模型與其它功能完美結合的產品）往往需要巧妙地采取 ‘smart’ （智能）方法來整合 AI 技術。這不僅意味著要在單一應用中無縫融合 LLMs 的各項功能，還應在不同應用間建立數據傳輸通道。

以個人知識管理（PKM）工具為例，如 Obsidian，這些往往都是專為“老鳥”設計的 “core products”?（譯者注：如前文所述，僅僅提供核心功能的產品，亦即所謂的“通用產品（generic products）”），這類產品用戶熱衷于自己動手，通過各種插件（plugins）和集成其他組件、系統（integrations）來個性化滿足自己的使用需求。

然而，個人知識管理系統（PKM）的潛力遠不止于此，這類產品的用戶是那些需要經常創作新內容的內容創作者和博主，即便靈感枯竭，他們也必須保持持續的內容產出。針對這一用戶群體，PKM 若能整合 AI-driven 的功能，便能蛻變為一個 “whole product”。想象一下💭，一款智能系統（intelligent system）能夠深入分析個人知識庫（personal knowledge base），主動為用戶提供文章、視頻或社交媒體帖子等內容的創作靈感或內容主題建議。更進一步，這款工具還能與我們協同工作，共同打磨出高質量的產品。

當然，有些用戶也可以通過將自身知識庫與諸如 TextCortex 和 NotebookLM 等通用 AI 解決方案集成，實現類似的效果。不過，這種自己動手的方案（DIY approach）在功能完整性上還是有所欠缺。

這類解決方案往往看起來有些麻煩：一方面，我們得在一個地方向知識庫中添加“知識（knowledge）”；另一方面，卻要在另一個平臺上進行分析、挖掘有價值的知識。

此外，這類配置操作往往需要依賴文本搜索（text queries） —— 這無疑是一項既費時又高度消耗腦力的操作。反之，一個精心設計的 PKM 應用，只需用戶輕點按鈕、遵循預定計劃或是依據特定事件就能激發高價值內容的挖掘。這種用戶體驗設計（UX design）大大減少了用戶的腦力消耗。

因此，在技術產品從對新技術持開放態度，愿意承擔風險的“早鳥”向主流市場用戶（mainstream market）推廣的過程中，產品的簡單、易用和功能完整程度是首要考慮因素。將 LLMs 的能力融入到用戶已熟知并信賴的產品之中，就能夠滿足這些條件。

然而，并非所有的集成解決方案（integrated solution）都行得通。在我看來，最成功的“smart” AI 解決方案，都是那些能夠完美融入現有工作流的方案，終端用戶無需任何多余操作就能享受 AI 帶來的便利。也就是說，無需增加新按鈕，也不必新增選項欄 ——?集成 AI 只是為了增強用戶的現有體驗。

以某一個教育應用（educational app）為例，用戶僅需點擊熟悉的“Next（下一步）”按鈕，就可以繼續學習下一個話題或完成下一項作業。這一操作的底層邏輯，可能會觸發 AI 生成的個性化學習內容或學習作業，而這一切都在悄無聲息中進行。學生們可能根本不會注意到這一點，但他們很可能對學習內容能如此貼合個人需求而感到滿意。
相比之下，在目前市場上普遍存在這種 AI 集成模式：在應用界面的一角突然跳出一個獨立的聊天機器人（chat assistant），與主要應用功能幾乎無關。這種功能看似有用，但并不能構成競爭優勢，換句話說，它難以成為影響用戶堅定選擇使用某款產品的關鍵因素。
再舉一個例子，從用戶接受程度來看，這種方案仍然不夠理想，相較于前兩種情況，這種解決方案比第二種好，但還是比第一種差。通常，基于 AI 的功能是通過在用戶熟悉的菜單欄中加入新選項的方式集成到現有應用的。這絕非最佳解決方案，因為用戶往往對陌生選項持謹慎態度，因此這類解決方案的普及率依然停留在 20%-40% 之間。

第三種解決方案示例：Notion 菜單欄中的 AI actions 選項

06 集成 GenAI 的產品更適合于 B2B2C 而非 B2C

現在我們來看看另一種情況，即沒有現有的盈利產品作為基礎，而是從零開始，試圖通過整合 LLM 技術來提升產品能力。依我之見，如果想要推出一款以 LLMs 為核心功能的全新 B2C 產品，將會面臨重重困難。下面，我們將探討其中的兩大核心問題：

數據安全與用戶隱私問題。 為了保證產品的好用、易用，LLM 技術需要高質量數據的支持。然而，在 B2C 領域，這卻成了一個棘手難題。直接使用用戶數據可能會引發許多消費者對個人隱私的擔憂😔。另一種途徑是依賴開發人員提供的數據，但這需要構建一個龐大而全面的數據集，才能滿足各類用戶的多元化需求。無疑會大幅增加產品開發費用，并使產品開發過程變得更為復雜。
大型科技巨頭處于難以超越的領先地位。 諸如 Meta、Google 和 Apple 這樣的科技巨擘，在 B2C 市場上占據著幾乎不可撼動的地位。在某些 LLM 能夠賦能的產品領域，即便這些巨頭比初創企業晚一步進入某些細分市場，憑借其數以億計的現有用戶基礎，依然能享有巨大的“先發”優勢。此外，它們的產品正是用戶日常數字化生活的中心地帶，這種用戶規模上的優勢，是任何初創公司即便砸下重金進行市場營銷也難以企及的。

在經過精心設計的 B2B2C 應用中，上述挑戰被大大緩解，這類應用的目標是助力其他企業（特別是中小型企業（SMBs））迅速為 B2C 市場開發出真正有價值的 end-to-end 產品：

數據安全與用戶隱私問題的解決。在 B2B2C 模式中，優質數據來源不再是單個的 B2C 模式的消費者，而是轉向了 B2B 模式的客戶群體。 這些企業出于自身利益考量，有更大的動力去妥善處理用戶隱私問題，這一點我們將在后續進一步探討。
利用現有客戶群的競爭策略。在理想狀態下，每個 B2B 模式的客戶都已擁有自己穩定的客戶群體。此時，融入 LLMs 技術的 B2B2C 產品便能夠幫助這些 B2B 模式的客戶，或是增加從其客戶身上獲得的收益，或是減少服務交付過程中的成本開銷。

不過，基于私有部署 LLMs 的 B2B 產品同樣能有效規避上述這些問題。不過，關于 B2B 解決方案的詳細討論，不在本文討論范圍之內。

此外，一款 B2C 產品要想取得成功，就必須擁有龐大的用戶群體，因此不應該要求用戶具備特定的技能資質或很高的產品使用積極性。 這恰恰與基于 LLMs 的應用程序的典型弱點相悖，這類應用往往會給用戶帶來不熟悉且復雜的體驗（如第 4 節所述）。

當用戶具有相對較高的產品使用積極性時，上述弱點就更容易被克服。但在 B2C 領域，這種情況通常只適用于約 10%-20% 的用戶 —— 那些創新者（innovators）和“早鳥”（early adopters），這使得該類產品在市場大受歡迎顯得不太可能（在第 5 節對此情況進行了探討）。

相反，在 B2B2C 模式中，更多潛在用戶表現出高度的積極性，因為對他們而言，這不僅關乎如何“增效”，還關系到產品的利潤增長。

順便說一下，雖然 B2B 模式的客戶可以直接與 LLMs 進行交互，但他們服務的終端用戶仍然可以享受和以前一樣流暢自然的產品使用體驗，無需直接面對復雜、上手麻煩的 LLMs。

07 Summary

集成 LLMs 技術的產品可能在輸出質量（output quality）上面臨重重挑戰，且無可避免地會在質量評估上遭遇困境（可回顧本文第 2 節介紹的內容）。能否有效應對或規避這些問題，與用戶的錯誤容忍度（error tolerance）密切相關。特別是 “AI copilots” 的使用者往往具有較高的錯誤容忍度，因此針對這類系統進行大量研發投資是完全合理的（內容詳情請參見本文第 3 節）。

對于那些已確立市場地位的產品開發者而言，通過整合 LLMs 技術來增強產品價值，同時兼顧用戶的使用習慣，是一種更為明智的選擇。 這種策略有助于產品集成 AI 后順利“跨越鴻溝（cross the chasm）”，并贏得更多用戶的青睞（若想深入了解這一概念，請閱讀本文第 5 節）。

然而，遵循用戶已經習慣的交互模式、布局、流程等傳統產品設計理念并非始終可行，對于創新產品（novel products）而言，這也未必是硬性要求。 由 LLM 深度賦能（LLM-powered）的應用程序，很可能會使用“對話式的產品界面”，要求用戶改變他們的使用習慣。在這種情況下：

人工智能應當為用戶提供顛覆性的價值（transformative benefits）（詳見本文第 4 節），或者
產品應遵循 B2B 或 B2B2C 的商業模式，而非傳統的 B2C 模式。在此種情況下，B2B 模式的客戶將轉變成為 GenAI 功能的核心用戶，因為他們有動力提升團隊的工作效率，進一步提高盈利能力（詳情請閱讀本文第 6 節）。

誠然，要在短短一篇文章里全面介紹所有影響產品成敗的關鍵因素，即便是限定在某一技術領域（LLM）和兩種商業模式（B2C與B2B2C）的范圍內，也是難以做到的。

Thanks for reading!

Hope you have enjoyed and learned new things from this blog!

Alexey Evdokimov

AI pragmatist with background in Research (PhD), Education, Software Development and Product Management. I use GenAI for refining my pieces, not for ideation 😉

https://medium.com/@alexeye42

END

參考資料

[1]https://chatgpt.com/share/a08c7c15-726b-4dd8-b96b-395b80a96edd

[2]https://www.reforge.com/blog/ai-products-arms-race#the-ai-survival-curve-where-lucrative-opportunities-live-93801b235d73

[3]https://www.visma.com/blog/which-ai-product-ideas-are-worth-exploring/

[4]https://www.blobr.io/post/ai-chat-ai-assistant-ai-copilot-ai-sidekick-guide-ai-definition

[5]https://www.blinkist.com/en/books/crossing-the-chasm-en

原文鏈接：

https://ai.gopubby.com/what-llm-powered-products-are-worth-developing-ux-and-adoption-perspectives-d9efcf444d50