來自上傳文件中的文章《Using Causal Inference for Measuring Marketing Impact: How BBC Studios Utilises Geo Holdouts and CausalPy》
本篇介紹了在傳統A/B測試不適用時，如何利用貝葉斯合成控制方法和地理區域保留來評估營銷活動效果。其亮點在于通過構建“反事實”對照組，有效衡量戶外廣告和多渠道營銷的真實因果影響，并利用貝葉斯方法提升了估計的穩健性和不確定性量化。
該方法適用于難以進行隨機對照實驗的商業場景，如評估大范圍的品牌推廣、公共政策效果或跨平臺整合營銷活動的影響。
例如，衡量某城市投放的戶外廣告牌對當地銷售額的實際提升，或評估某地區實施的整體市場活動對用戶增長的貢獻，從而優化資源配置。

---

---

1. 引言

營銷團隊一直在努力準確衡量其營銷活動的效果。傳統的 A/B 測試 被廣泛認為是因果推斷的黃金標準，它允許營銷人員以受控的方式比較受曝光和未受曝光的受眾。然而，A/B 測試并非總是可行——特別是對于 戶外 (OOH) 廣告、多渠道營銷 和受眾曝光無法嚴格控制的廣泛數字營銷活動。

為了應對這一挑戰，因果推斷技術 提供了一套穩健的方法，用于在受控實驗不切實際時評估營銷影響。其中，使用 CausalPy 實現的 貝葉斯合成控制方法 提供了一種統計學上嚴謹的方法來進行 準實驗。在 BBC Studios，我們利用這些方法來評估戶外營銷工作的有效性，在 隨機對照試驗 (RCTs) 不可行 時提供數據驅動的洞察。

2. RCTs 在多渠道營銷中的局限性

RCTs 在數字營銷中被廣泛使用，用戶可以根據其 Cookie 或 設備 ID 被隨機分配到治療組和對照組。然而，在 戶外廣告 以及在營銷工作中同時使用多個營銷渠道 （Google、Meta、YouTube 等） 的背景下，實施 RCTs 會帶來多重挑戰：

• 缺乏曝光隔離：與數字營銷活動不同，數字營銷活動可以通過明確排除某些用戶來避免其看到廣告，而戶外營銷活動將消費者暴露在 同一地理區域 中，使得隔離變得困難。
• 跨平臺污染：消費者同時與多個營銷渠道互動，例如在線廣告、電視和社交媒體。這使得難以確保當用戶本應處于對照組時，他們不會接觸到干預措施。
• 物流復雜性：與數字廣告不同，數字廣告可以針對特定受眾開啟或關閉，戶外營銷活動涉及 實體投放（廣告牌、交通廣告），使得選擇性曝光不可行。

鑒于這些挑戰，準實驗方法——例如 結合貝葉斯合成控制的地理區域保留——為在缺乏理想 RCT 設置的情況下估計 因果效應 提供了一種替代解決方案。

3. 用于地理區域保留的貝葉斯合成控制

為了克服傳統 A/B 測試在多渠道營銷中的局限性，我們使用 CausalPy 實施了 貝葉斯合成控制方法。這種方法允許我們構建一個 可信的反事實——即，在沒有營銷干預的情況下會發生什么——通過利用來自 未經處理的地理區域（地理區域保留） 的數據。

4. 貝葉斯合成控制方法如何改進傳統合成控制方法 (SCM)

傳統的 合成控制方法 (SCM) 通過從未經處理的單元（例如，未開展營銷活動的區域）構建 合成對照組 來估計治療效果。然而，這些方法依賴于 確定性的、基于頻率論的方法，這些方法可能對 數據限制 和 假設違反 敏感。

相比之下，貝葉斯 SCM 引入了 概率分布 來模擬以下方面的不確定性：

• 合成控制權重（每個對照區域對估計反事實的貢獻程度）。
• 結果預測（允許置信區間而非單一的確定性點估計）。

這種方法提高了 因果影響估計 的穩健性和可解釋性，尤其是在處理 小樣本量 或高度可變的市場條件時。

5. 基于地理區域保留的貝葉斯合成控制工作原理

5.1. 創建地理區域對照組

為了進行有效的準實驗，我們 選擇特定的地理區域，在這些區域中將 不 開展營銷活動。這些區域充當 對照組。

• 對照區域的選擇基于其與治療區域的 歷史相似性（例如，人口統計、過去的用戶參與度和銷售模式）。我們選擇的地理位置可能受相同局部新聞模式和季節性影響，同時又不會過于局部以至于人們可能接觸到治療。
• 這些未經處理的區域共同形成一個 合成對照組，其權重基于它們對整體市場動態的相對貢獻。

5.2. 構建合成控制

使用 歷史數據，我們 識別未經處理區域的加權組合，這些組合能最好地模擬治療區域在營銷活動前的趨勢。

• 這一步確保在干預之前，合成控制的行為與治療市場 相似。
• 貝葉斯框架 調整噪聲和外部市場條件，使得反事實估計比確定性方法更具 穩健性。

5.3. 估計增量影響

一旦建立合成控制，我們測量 干預后表現 在以下兩者之間的差異：

• 治療區域（開展營銷活動的區域）。
• 合成控制（代表沒有營銷活動的反事實情景）。

通過比較這兩者，我們估計了戶外營銷活動的 真實因果影響，確保結果不會因 季節性或宏觀經濟變化 而混淆。

6. BBC Studios 使用 CausalPy 的實施

在 BBC Studios，我們利用開源 Python 庫 CausalPy 來對戶外營銷活動進行貝葉斯因果推斷。實施過程包括：

6.1. 預處理數據收集

• 收集來自治療區域和對照區域的 歷史流量、參與趨勢和銷售數據。
• 識別可能影響結果的宏觀經濟因素，例如 季節性、競爭對手活動或重大事件。

6.2. 對照區域選擇

• 選擇在營銷活動開始 之前 與治療區域表現出 高度相關性 的地理區域保留。
• 確保治療區域和對照區域之間的 人口統計、購買行為和媒體消費模式 保持一致。

6.3. 貝葉斯權重分配

• 使用 貝葉斯推斷 來確定每個控制區域對合成控制的貢獻程度。
• 與傳統 SCM 不同，貝葉斯方法允許根據 不確定性和外部影響 進行 自適應加權。

6.4. 模型驗證

• 評估模型預測 營銷活動前結果 的能力，確保合成控制是有效的反事實。
• 調整 季節性趨勢、競爭對手干預和宏觀經濟因素。

6.5. 因果影響估計

• 營銷活動啟動后，比較 治療區域和貝葉斯合成控制 之間的治療后結果。
• 生成圍繞因果估計的 可信區間 以 量化不確定性。

下面是一個代碼片段示例，我們以國家作為自變量，每用戶收入 (RPU) 作為因變量，實現地理區域保留：

import numpy as np  
import pandas as pd  
import causalpy as cp  
import matplotlib.pyplot as pltnp.random.seed(42)date_range = pd.date_range(start="2023-01-01", periods=100, freq="D")intervention_date = pd.Timestamp("2023-04-10")def generate_control_rpu(base_value, trend=0.01, noise=0.1):  return base_value + trend * np.arange(len(date_range)) + np.random.normal(0, noise, len(date_range))control_countries = ["Germany", "Spain", "Italy", "UK", "Netherlands"]  
control_data = {country: generate_control_rpu(1.5 + i * 0.05) for i, country in enumerate(control_countries)}usa_rpu = generate_control_rpu(1.6)  
intervention_index = np.where(date_range == intervention_date)[0][0]usa_rpu[intervention_index:] += 0.3  df = pd.DataFrame(control_data)  
df["USA"] = usa_rpu  
df["date"] = date_rangedf_long = df.melt(id_vars=["date"], var_name="country", value_name="rpu")df_wide = df.pivot(index="date", columns="country", values="rpu")pre_period = (df_wide.index.min(), intervention_date - pd.Timedelta(days=1))  
post_period = (intervention_date, df_wide.index.max())model = cp.pymc_experiments.BayesianCausalImpact(  df_wide,   treatment_column="USA",    pre_period=pre_period,  post_period=post_period  
)model.fit()model.plot()  
plt.show()

7. 挑戰與考量

雖然貝葉斯合成控制方法為估計營銷中的因果效應提供了一個強大的框架，但它們也伴隨著 實際挑戰：

• 數據要求：穩健的 歷史數據 對于創建準確的反事實至關重要。
• 計算復雜性：貝葉斯方法需要 大量的計算能力，尤其是在處理高維數據時。
• 歸因復雜性：將 戶外廣告與其他營銷渠道（例如，電視、數字、社交媒體）的影響隔離開來仍然是一個持續的挑戰。
• 營銷團隊的協調：與內部團隊協調保留區域會增加業務規劃和協調方面的開銷。
• 對季節性的敏感性：需要仔細建模以調整可能扭曲因果估計的 季節性變化。

8. 結論

當傳統 A/B 測試 在衡量營銷影響力方面不切實際時——尤其是在 戶外廣告 中——貝葉斯合成控制方法 提供了一種嚴謹的替代方案。通過利用 地理區域保留和 CausalPy，我們可以構建可靠的反事實，估計 增量營銷活動提升，并量化 因果估計中的不確定性。

在 BBC Studios，這些方法使我們能夠做出 數據驅動的營銷決策，確保我們在戶外廣告方面的投資既可衡量又 經過科學驗證。

BBC Studios Limited 是 BBC 的商業子公司，于 2018 年 4 月通過合并其制作和全球發行部門而成立。作為一家英國內容公司，我們獨立于 BBC 的公共服務運營，為全球觀眾提供原創內容和體驗。