[論文閱讀] 人工智能 | 機器學習系統構思新方法：Define-ML 解決傳統 ideation 痛點

機器學習系統構思新方法：Define-ML 解決傳統 ideation 痛點

論文信息

@article{alonso2025define-ml,title={Define-ML: An Approach to Ideate Machine Learning-Enabled Systems},author={Alonso, Silvio and Santos Alves, Antonio Pedro and Romao, Lucas and Lopes, H{\'e}lio and Kalinowski, Marcos},journal={arXiv preprint arXiv:2506.20621},year={2025}
}

研究背景：當傳統方法遇上機器學習的「水土不服」

想象你要開發一個智能客服系統，傳統的產品構思方法會讓你先畫用戶畫像、列功能清單，卻很少問：「訓練對話模型需要哪些數據？現有客服日志的數據質量夠嗎？」這就像蓋房子時只畫設計圖，卻不檢查水泥和鋼筋是否可用——最終可能導致房子地基不穩。

在機器學習（ML）滲透各行業的今天，傳統 ideation 方法（如 Lean Inception）暴露出三大痛點：

數據依賴模糊：不知道「推薦算法」需要用戶行為數據還是商品屬性數據，以及數據是否合規、是否有缺失。
技術可行性盲盒：業務想做「銷量預測」，但沒考慮現有數據能否支撐時序模型訓練，最終模型準確率可能不如簡單統計方法。
目標與現實脫節：產品經理希望 ML 系統「100% 識別欺詐訂單」，卻不懂概率模型天生有誤差，導致預期落空。

這些問題的核心在于：傳統方法沒把「數據」和「ML 技術特性」納入早期構思，就像用造車的藍圖造飛機，必然漏洞百出。

創新點：Define-ML 如何讓 ML 構思「腳踏實地」

論文提出的 Define-ML 框架，像給傳統 ideation 裝上了「ML 導航儀」，通過三個獨創活動讓構思過程數據驅動：

1. 數據源映射：給數據「盤家底」

怎么做：用表格梳理企業現有數據（如ERP系統、用戶數據庫）和需要的數據（如第三方市場數據），按「公開/私有」「是否受企業管控」分類，并用顏色標簽標記數據質量（高/中/低）🔶1-58🔶。
類比：像整理廚房食材，清楚哪些食材（數據）新鮮可用，哪些需要采購（獲取新數據）。

2. 特征-數據源映射：給功能「找糧食」

怎么做：把產品功能（如「個性化推薦」）和所需數據來源（如「用戶瀏覽歷史」「購買記錄」）連線，確保每個功能都有數據支撐。
類比：就像菜譜（功能）對應食材（數據），沒洋蔥就做不了法式洋蔥湯，沒用戶點擊數據就做不好推薦。

3. ML 映射：給問題「配鑰匙」

怎么做：用「ML 能力卡片」（如分類、預測、生成）匹配數據類型（如圖像、文本、時間序列），再關聯業務目標。比如「用戶流失預測」需要時間序列數據+預測算法。
類比：像根據鎖的類型選鑰匙，不同數據和業務問題需要匹配特定的 ML 技術。

研究方法：三步驗證 Define-ML 的「實戰力」

論文采用「技術轉移模型」分階段驗證，就像新藥研發先做動物實驗，再做臨床試驗：

1. 實驗室驗證：用「玩具問題」打基礎

讓18名學者用 Define-ML 構思「智能銀行貸款系統」，優化活動細節（如數據質量標簽設計）。

2. 靜態驗證：在企業「模擬考」

找11名能源行業從業者，用虛擬的「智能貸款審批」場景測試，91%的人認為數據源映射有用，100%認可特征-數據映射。

3. 動態驗證：去真實場景「闖關」

在跨國飲料公司開展3天工作坊，解決真實的「零售需求預測」問題。89%的參與者認為框架有效，所有人都想繼續用。

主要貢獻：Define-ML 給行業帶來了什么？

填補方法論空白：首次將「數據約束」和「ML 技術可行性」融入 ideation，讓團隊從一開始就避免「數據空想」。
提升協作效率：業務、數據、技術團隊通過「可視化映射」對齊認知，減少后期因數據問題導致的返工。
降低落地風險：某零售案例中，團隊通過 Define-ML 發現現有銷售數據缺失天氣變量，提前規劃數據采集，避免模型上線后準確率不足。

思維導圖

在這里插入圖片描述

深入探究

一、研究背景

機器學習應用挑戰：機器學習在軟件系統中日益普及，但早期構思面臨數據依賴、技術可行性、業務目標與概率系統行為對齊等特定挑戰，傳統方法如Lean Inception缺乏針對性支持，可能導致產品愿景不一致和不切實際的期望。
現有方法不足：傳統構思方法未提供評估數據準備或使功能想法與機器學習能力對齊的明確機制，而管理客戶期望和使需求與數據對齊是工程化機器學習支持系統的主要痛點之一。

二、研究目標

提出Define-ML框架，通過數據源映射、特征到數據源映射和ML映射這三個定制活動擴展Lean Inception，系統地將數據和技術約束整合到早期機器學習產品構思中，確保構思的機器學習能力與業務目標對齊且技術可行。

三、研究方法

遵循技術轉移模型：包括識別問題、制定研究問題、制定候選解決方案、進行實驗室驗證、靜態驗證、動態驗證和發布解決方案七個步驟。
驗證方法：
- 靜態驗證：在巴西能源行業公司進行三小時會議，使用玩具問題（智能銀行貸款批準系統）驗證，11名從業者參與。
- 動態驗證：在跨國能量飲料公司進行三天工作坊，處理零售需求預測實際問題，11名公司專業人員和5名ML專家參與，9人完成問卷。

四、Define-ML框架

核心活動：
- 數據源映射：映射組織使用的主要數據源和產品相關的期望數據源，按公共/私有和是否受企業治理分類，用顏色區分現有和期望數據源，用圓圈表示數據質量（高、中、低）。
- 特征到數據源映射：將特征與開發所需數據源連接，提供數據如何支持特征實現的基礎理解。
- ML映射：將特征分為機器學習密集型和非密集型，將機器學習密集型特征與業務目標連接，使用Mix & Match ML工具包的令牌對數據源分類并匹配適當模型類型，ML專家參與確保技術可行性。
其他調整：引入ML專家參與工作坊，替換傳統角色定義活動為簡化的關鍵角色識別活動。

五、驗證結果

驗證類型	參與者數量	關鍵活動有用性同意率	整體有用性同意率	意圖采用率
靜態驗證	11	數據源映射：91%（10/11）特征到數據源映射：100%（11/11） ML映射：82%（9/11）	91%（10/11）	100%
動態驗證	9	數據源映射：89%（8/9）特征到數據源映射：67%（6/9） ML映射：67%（6/9）	89%（8/9）	100%

參與者反饋：
- 認為框架有效澄清數據問題、對齊機器學習能力與業務目標、促進跨職能協作。
- 指出ML映射活動存在學習曲線，建議簡化數據分類過程，有效 facilitation 可減輕難度。

六、結論與未來工作

結論：Define-ML提供了一個公開可用、經過驗證的機器學習產品構思方法，在Lean Inception的敏捷性基礎上，使功能與可用數據對齊，增加技術可行性意識，所有參與者都表示有采用意圖。
未來工作：計劃擴展Define-ML的范圍，以適應生成式AI和智能代理等新興人工智能范式。

關鍵問題

1. Define-ML框架的核心創新點是什么？

Define-ML的核心創新點在于其通過三個定制活動擴展了Lean Inception：數據源映射幫助識別和評估數據來源與質量，特征到數據源映射將產品功能與數據需求連接，ML映射則將機器學習能力與業務目標和數據類型匹配。這些活動系統地將數據和技術約束整合到早期機器學習產品構思中，解決了傳統方法缺乏機器學習特定支持的問題。

2. 在動態驗證中，參與者對Define-ML的接受度如何？

在動態驗證中，參與者對Define-ML的接受度很高。89%（8/9）的參與者認為該方法有效支持機器學習支持系統的產品構思，67%（6/9）的參與者認為其易用（在適當 facilitation 下），并且100%（9/9）的參與者表示有意愿采用該框架。參與者強調了其在結構化協作、加速價值實現和跨職能對齊方面的優勢。

3. Define-ML未來的發展方向是什么？

作為未來工作，Define-ML計劃擴展其范圍以適應新興的人工智能范式，如生成式AI和智能代理。這將使框架能夠更好地應對不斷發展的機器學習技術和應用場景，保持其在機器學習產品構思領域的先進性和實用性。

總結：Define-ML 讓 ML 產品構思「有章可循」

這篇論文提出的 Define-ML 框架，就像一本「ML 產品構思操作手冊」：通過三步映射活動，讓團隊在 ideation 階段就把「數據家底」「功能-數據匹配」「技術選型」想清楚。兩次企業驗證顯示，它能有效減少構思歧義，促進跨部門協作，且所有參與者都打算在實際項目中采用。未來，團隊還計劃將其擴展到生成式 AI 等新興領域。