本文原創作者：姚瑞南 AI-agent 大模型運營專家，先后任職于美團、獵聘等中大廠AI訓練專家和智能運營專家崗；多年人工智能行業智能產品運營及大模型落地經驗，擁有AI外呼方向國家專利與PMP項目管理證書。（轉載需經授權）
目錄
一、項目背景
1.1 行業背景
1.2 業務現狀
1.3 部分效果展示
二、項目目標
定性目標
定量目標
三、項目詳情
3.1 現有能力
3.2 初步實驗效果
3.3 正向節點總結
3.4 話術可優化點（持續拓展ing）
3.5 技術方案
1) 帶示例的prompt
2）不帶示例的prompt
3）增加會話情景（上下文）的Prompt
四、對接流程
step1：運營提供相關信息列表
step2：運營話術check&確認
step3：task節點命名規范
1. 添加節點時
2. 回退節點時
step4：灰度上線
五、效果評估
5.1 各業務情況梳理
5.2 正負面case總結
5.3 長線監控策略
六、落地節奏
6.1 多方里程碑
6.2 分工checklist
6.3 產品能力建設checklist
一、項目背景
1.1 行業背景
①劃時代技術變革：LLM的出現對傳統NLP來說是劃時代的技術變革，幾乎改變了所有NLP任務的游戲規則，已經成為了NLP領域各個任務的全新范式。
大語言模型能夠根據用戶的問題和對應的標準答案，給出個性化的答案，用戶體驗上已經不太容易分辨出是人工客戶還是機器客服，這一點上是很明顯的提升。
②人機交互新機會：可以預見的是，基于LLM技術所構建的智能客服正在從根本上改變傳統的人機交互過程。
大模型自動生成對話流程讓運營智能客服更高效，可以提升復雜纏繞問題解決率、人機交互感知程度，以及意圖理解、流程構建、知識生成等運營內容的效率
③機遇與挑戰并存：LLM的出現對智能客服是挑戰與機遇并存，如何用好LLM的強大能力，提升智能客服機器人的效果，目前沒有相對統一的技術路線，需要各方的積極探索
1.2 業務現狀
①擬人化方面，智能客服產品雖然稱之為“智能”，但回答問題尤其是兜底回復時，難免給用戶留下“呆板”的印象，缺乏人情味case
②豐富化方面，回答內容以寫好的模版為主，雖然覆蓋面已盡可能廣泛，但仍然有限度
③個性化方面，回復話術千人一面，而人工逐一改寫成本高；且無法很好地識別情緒，適時進行安撫甚至提供情緒價值
④情景化方面，未能結合具體時間節日，如春節、生日、畢業季等，給予特定情景的暖心關懷與問候
1.3 部分效果展示
| 子業務 | task名稱 | 節點名稱 | 原話術 | 新話術（活潑風格） | 原轉人工率 | 原解決率 | 新轉人工率 | 新解決率 |
| 單車 | 0719車輛故障申訴流程（新版故障治理） | 車輛故障，影響騎行 | 很抱歉，給您的出行帶來不便。您可點擊下方【故障上報】按鈕提交您的問題，我們將在72小時內為您處理費用問題。 [無法識別的內容]
溫馨提示：如影響您繼續騎行，建議您在安全的情況下將車輛停好并關鎖，選擇其他車輛或交通工具出行。 | 嘿，抱歉給你帶來不便啦！車輛故障真的超郁悶的??，不過別擔心，我來幫你解決問題??。 你可以點擊下方的【故障上報】按鈕告訴我們具體問題，然后我們會在72小時內處理費用問題哦?。 另外，如果這影響到你繼續騎行的話，建議你在安全的情況下把車停好并關鎖，然后選擇其他車輛或者交通工具出行??。 如果還有其他問題或者需要幫助，隨時告訴我，我都會盡力幫你解決噠！?? 【單車/電單車】話術優化 | ||||
| 醫藥 | 商品使用方法說明 | O2O-團APP+外賣APP | 您好，藥品/產品的用法用量、功能主治、適用人群等問題，您可以： ①參考藥品/產品說明書上所述內容使用 ②聯系商家進行咨詢 ③在醫師/藥師等專業人士的指導下使用 客服不具備相應專業知識，無法為您直接解答。
如您不清楚當前癥狀需要購買哪種藥品，也可以在 欄目，找到藥師免費咨詢用藥。 | Hi 首先，藥品的使用方法可以通過以下方式獲取：?? 1??你可以參考藥品說明書上所述的內容來正確使用藥品。 2??如果你還有其他疑問，也可以聯系商家進行咨詢哦~ 3??最重要的是，我還建議你在專業人士的指導下使用藥品，例如醫師或藥師。 唷 如果你不確定需要購買哪種藥品，也可以在我們美團App的首頁找到“看病買藥”欄目，點擊“問醫生-用藥咨詢”，這樣可以免費咨詢藥師的建議用藥。 希望這些信息對你有所幫助哦~如果還有其他問題，記得隨時聯系我，我會盡力幫助你解決問題的！????醫藥客服-大模型話術擴寫 | 44.3% | 12.5% |
二、項目目標
本項目結合在線智能客服的實際情況，針對機器人存在的擬人化、豐富化、個性化、情景化等現狀，引入LLM對機器人話術進行優化，同時保證可解釋性、安全性和可控性。
定性目標
| 階段一 | 階段二 |
| 優化話術質量，更擬人 | 提高個性化水平：引入用戶畫像、訂單詳情、會話上下文等多維信息，針對不同用戶（高價值、黑名單等）、不同場景（糾紛場景、咨詢場景等）、對話特征（用戶情緒）、回復篇幅（長文無分段）等有針對性的改寫回復，做到回復話術的千人千面 |
| 測試多種話術風格，更豐富 | 融入情景化關懷：使回復話術更加擬人、順暢，情緒體驗良好 |
定量目標
| 指標類型 | 詳情 |
| 核心指標 | 降低在線智能_不滿意度 |
| 配對指標 | 降低被動_人工服務占比 |
根據已有實驗，預計子業務不滿意度降低5.14PP，轉人工率降低0.04pp
三、項目詳情
3.1 現有能力
三大能力：①解決方案潤色；②不滿意安撫；③寒暄
三大能力在不同場景和對話輪次上交叉使用，24年爭取所有業務都用上
3.2 初步實驗效果
結論先行：不論用戶年齡大小，親和、熱情、友好的話術風格效果好，建議推廣
| 話術風格分組 | 觸發占比 | 觸發量 | 轉人工量 | 轉人工率 | 參評量 | 不滿意量 | 不滿意度 | 參評率 | 分析 |
| 活潑話術-實驗組 | 82.7% | 16340 | 1283 | 7.85%（勝出） | 618 | 194 | 31.39%（勝出） | 4.10% | 1.青年組觸發量占比超80% 2.青年組實驗組不滿意度勝出5.14PP,轉人工率降低0.04pp 3、結論：可以推廣年輕活潑類型的話術 |
| 舊話術-對照組 | 16429 | 1296 | 7.89% | 646 | 236 | 36.53% | 4.27% | ||
| 嚴肅話術-實驗組 | 17.3% | 3413 | 230 | 6.74%（落敗） | 197 | 74 | 37.56% （落敗） | 6.19% | 1.老年組觸發量占比較低，小于20% 2.實驗組不滿意度落敗13.5pp,轉人工率落敗0.32pp 3.結論：嚴肅認真型話術效果較差，不適合客服場景使用 |
| 舊話術-對照組 | 3427 | 220 | 6.42% | 212 | 51 | 24.06% | 6.61% |
3.3 正向節點總結
注：相關case分析詳見5.3
話術內容
共性：與客戶對話時，都應該有回應、共情和尊重
個性：與商家對話時需給予敬重，有更多的態度和原則；無解決方案或解決方案需要等待的，需要有安撫和誠懇的抱歉
話術范式
共性：與客戶和商家對話，都需要有加粗和顏色做提示，隔3-4行分段更好讀
個性：客服場景，可用符號“~”、表情包??、語氣詞“哎呀”表示親切；商服場景則沒必要
| 場景 | 話術內容 | 話術范式 |
| 有解決方案-讓人滿意 | 有夸夸（哇，你真是太幸運了！）有回應（你的訂單已經xxx了） 有共情（如果你想xxx）有尊重（一切都在你的掌控之中） | 符號“~”；表情包??；字體-加粗+標綠；段落-4行不分段 |
| 有解決方案-等待處理 | 有回應（看來你在xxx呢，xxx收到了）有共情（久等了）有安撫（別擔心，我們會盡快）有尊重（讓你的xxx體驗更加順暢） | 語氣詞“哎呀”；符號“~”；表情包??；段落-每隔兩行分段 |
| 有解決方案-等待處理 | 有稱謂（親愛的） | 符號“~【】”；表情包??；段落-每隔三行分段 |
| 有解決方案-商家自助 | 有稱謂（尊敬的商家）有態度（我們將積極為您解決）（我們保證不會隨意處理）有原則（評價審核機制對所有的商戶都是公平一致的，這亦是我們制定此機制的初心，旨在帶給所有的商戶信心和鼓勵）有尊重（感謝您的理解與信任） | 字體-加粗；段落-每隔三行分段 |
| 有解決方案-讓人不滿 | 有問候（ |
