AB測試面試題
- 常考AB測試問答題
- （1）AB測試的優缺點是什么?
- （2）AB測試的一般流程/介紹一下日常工作中你是如何做A/B實驗的？
- （3）第一類錯誤 vs 第二類錯誤 vs 你怎么理解AB測試中的第一、二類錯誤？
- （4）統計顯著=實際顯著？
- （5）AB測試效果統計上不顯著？
- （6）實驗組優于對照組就能上線？
- （7）AB測試是必須的么？
- （8）你如何理解實驗中的P值
- AB測試業務題
- （1）在AB實驗中如何確認實驗組和對照組的樣本是均勻的？
- 一、確認分組的隨機性（先決條件檢查）
- 二、核心方法：用歷史數據做模擬實驗（AA測試）
- 三、多維度特征對比
- 四、通過模型反推
- 五、實際場景
- （2）怎樣在AB實驗中設置合理的指標來評估效果？
- 關鍵邏輯
- 一、明確實驗目標，分層拆解指標
- 二、選擇可量化、無歧義的指標
- 三、平衡指標相關性與獨立性
- 四、符合統計顯著性要求
- （3）某功能改版，進行AB測試，實驗組點擊率提升10%（p=0.03），但總營收下降5%，如何解釋該結果？是否應全量上線？
- 一、數據驗證：先確保實驗結果真實可信
- 二、指標拆解：尋找下降原因
- 三、業務診斷：平衡短期數據和長期價值
- 四、決策建議：用最小成本驗證解決方案
- 總結：數據要服務業務目標
- （4）在流量較少時，該如何開展AB實驗？
- 一、優先優化實驗設計
- 二、選擇小樣本統計方法
- 三、調整業務實施策略
- 四、風險控制
- （5）假設有一個新策略要上線，如何避免實驗組樣本與對照組樣本之間的相互影響？
- 一、理解核心問題：實驗中的“流量污染”
- AB測試的其他變式考法
常考AB測試問答題
（1）AB測試的優缺點是什么?
- 優點
- 科學量化策略的效果，避免拍腦袋決定造成的損失。
- 對比不同的策略，找到核心問題，探索業務增長點。
- 數據驅動，形成優化閉環。
- 通過AB測試，為創新項目提供數據支持和保障。
- 缺點
- 不適用于變量多、產品不成熟(用戶少)的情況。
- 數據采集積累，降低了策略的迭代效率。
- 不同策略的維護和開發，增加了開發工作量。
（2）AB測試的一般流程/介紹一下日常工作中你是如何做A/B實驗的？
明確考點： AB實驗流程
回答一定要包含的內容：
- 以一個實際的業務場景去描述AB實驗流程，限定場景來減少和面試官的信息差，確保溝通高效可以以自己簡歷上某個相關項目的場景來舉例，或者以面試的崗位對應的業務來舉例子。
- 不能光自己說，要讓面試官參與進來，引導面試官往自己熟悉的內容提問，從被動轉為主動。
- 回答要有邏輯
