編輯導語：所謂推薦算法就是利用用戶的一些行為，通過一些數學算法，推測出用戶可能喜歡的東西；如今很多軟件都有這樣的操作，對于此系統的設計也會進行測試；本文作者分享了關于推薦算法改版前的AB測試，我們一起來看一下。
一、實驗背景及目的
1. 實驗背景
某商城，搭建了以個性化推薦系統為核心的“猜你喜歡”功能；功能上線后，發現推薦的準確率(用戶進入物品詳情頁定義為判斷真正的正樣本)較低；對此，數據分析師優化了推薦模型。
2. 實驗目的
在新的推薦模型上線前，進行AB測試，以此判斷新模型是否能夠顯著提升推薦的準確率。
二、AB測試說明及測試流程
1. AB測試定義
AB測試是為明確某個問題，制作兩個(A/B)或多個(A/B/n)版本，在同一時間維度，分別讓組成成分相同(相似)的訪客群組(目標人群)隨機的訪問這些版本，收集各群組的用戶體驗數據和業務數據；最后分析、評估出最好版本，正式采用。
2. AB測試的特點
- 先驗性： A/B測試能夠先于上線，得出結論；不再需要先將版本發布，再通過數據驗證效果，從而一定程度上減少改版帶來的風險。
- 并行性： A/B測試是將兩個或以上的方案同時在線試驗，這樣做的好處在于保證了每個版本對應的時間環境、數據環境保持一致，便于更加科學客觀地對比優劣。
- 科學性： 如果能保證流量分配的科學性，將相似特征的用戶均勻的分配到試驗組中，就可以避免出現數據偏差，使得試驗的結果更有代表性。
3. 應用場景
1)產品UI
不同行業的產品需要不同的風格，同時還要與企業的品牌相得益彰。利用A/B 測試優化UI能給用戶帶來更好的交互體驗和視覺感受。
2)文案內容
顧名思義是指用戶閱讀到的文字內容——小到圖片配文和按鈕文字，大到文章標題甚至版塊主題；這些部分都可以嘗試變換文案內容，測試不同方案的數據效果。
3)頁面布局
有些時候，可能根本不需要對產品的UI或是文案內容作出調整，只是在布局排版上的改變，就可以出現增長的效果。
4)產品功能
想給產品增加一個新功能，可是很難確定是否能達到用戶的預期，如果盲目上線，可能會造成一些損失；使用A/B 測試，對你的用戶真正負責；例如，社交類產品在付費查看照片的新功能正式上線前，需要進行A/B 測試，以驗證功能的使用情況和效果。
5)算法/算法
包括基于內容的推薦算法(根據用戶的歷史記錄推薦相似內容)、基于協同過濾的推薦算法(根據有相似興趣用戶的行為推薦相關內容)、基于關聯規則的推薦算法(根據商品/內容本身的相關性給用戶推薦)；算法優化迭代前，需要真實的數據進行測試。
4. 實驗流程
三、實驗設計
1. 假設檢驗的基本概念
統計假設：是對總體參數(包括總體均值μ等)的具體數值所作的陳述。
原假設：是試驗者想收集證據予以反對的假設 ,又稱“零假設”，記為 H0。
備擇假設：也稱“研究假設”，是試驗者想收集證據予以支持的假設，記為 H1。
雙側檢驗與單側檢驗：如果備擇假設沒有特定的方向性，并含有符號“=”，這樣的稱為雙側檢驗；如果備擇假設具有特定的方向性，并含有符號 “>” 或 “
臨界值：是指在原假設為真的條件下，樣本數據拒絕原假設這樣一個事件發生的概率。
第 I 類錯誤(棄真錯誤)：原假設為真時拒絕原假設；第 I 類錯誤的概率記為 α(alpha)。
第 II 類錯誤(取偽錯誤)：原假設為假時未拒絕原假設。第 II 類錯誤的概率記為 β(Beta)。
2. 實驗原理說明
先認定原假設成立，然后在事先給定的顯著性水平下，構造一個小概率事件，根據抽樣結果觀察小概率事件是否發生；若小概率事件發生，則拒絕原假設，否則接受原假設。
3. 實驗流程設計
1) 提出假設
本次AB測試，目的是希望提升猜你喜歡功能的推薦效果。所以選取推薦系統的準確率，作為優化指標。
準確率表示預測為正的樣本中，真正的正樣本的比例。公式如下：
R(u)是根據用戶在訓練集上的行為給用戶作出的推薦列表，而T(u)是用戶在測試集上的行為列表。
最簡單的例子：例如推薦系統給用戶推薦了10件物品，用戶進入物品詳情頁定義為判斷真正的正樣本的行為，用戶進入了其中3件物品的詳情頁，則此時準確率=3/10=30%。
假設我們認為，如果新的推薦算法，比原推薦算法，顯著高于5%以上，則可將新推薦算法發布至生產環境。
此時我們可以得到假設：
原假設H0：π2-π1≤5%
備擇假設H1：π2-π1＞5%
2)確定顯著性水平α
本次實驗中，α 值設定 0.05(5%)，這是假設檢驗中最常用的小概率標準值；表示原假設為真時，拒絕原假設的概率。
3)確定臨界值
臨界值是顯著性水平對應的標準正態分布的分位數，顯著性水平0.05的情況下，單側檢驗對應的標準正態分布的分位數是1.645，雙側檢驗的標準正態分布的分位數為1.96。
4)收集實驗數據，得出結論
由樣本值求得檢驗統計量的優化指標的數值。若觀察值在拒絕域內，則拒絕原假設H0，否則接受原假設H1。
四、開始測試并分析數據
定義新推薦算法的準確率為π1，新推薦算法的準確率為π2。
Ho：π1-π2≤5%
H1：π1-π2＞5%
實驗目標人群：從進入商城，且使用了“為你推薦”功能的用戶流量(UV)中，隨機抽取5%，作為實驗目標人群；其中的50%為實驗組，50%為對照組。
實驗時間：1周
假設檢驗方式：
不同的AB測試場景，適用于不同的檢驗方式，如上圖所示。
本次AB測試，由于兩個推薦系統版本是獨立的，且樣本數足夠大，認為滿足正態分布。
根據HO、H1的假設，可判斷本次檢驗為兩個獨立樣本的總體均值的單側檢驗，且總體方差未知，需要用樣本方差代替總體方差。
此時計算統計量公式為：
顯著性水平：0.05。
臨界值：在顯著性水平為0.05時，單側檢驗的臨界值Zα為1.645。
實驗數據(為方便計算)：實驗一周后，有10000用戶，使用新推薦算法，準確率的平均值為41%，標準差為20%；有10000用戶，使用原推薦算法，準確率的平均值為35%，標準差為10%。此時新算法的準確率定義為x，則x的平均值=41%，原算法的推薦率定義為y，則y的平均值=35%。
計算檢驗統計量：
檢驗結果：統計量Z=4.4722，臨界值Zα=1.645.由于統計量的值大于臨界值而落入拒絕域內，所以拒絕原假設H0，認為新推薦算法的準確率，比原推薦算法顯著高出5%，新版本算法可發布至生產環境。
本文由 @16哥 原創發布于人人都是產品經理，未經許可，禁止轉載。
題圖來自 unsplash，基于 CC0 協議
