在uplift建模中,模型離線指標(QINI、AUUC)提升并不意味著在線A/B實驗的收益,因為在線運籌還需要λ\lambdaλ約束。如果模型打分不滿足單調增且roi邊際遞減,那么λ\lambdaλ運籌求解會非常不穩定,導致線上發券偏高,毛利無法兜住。
下面用 兩個數值化示例 直觀對比:
示例 1:pip_ipi? 單調增但不滿足邊際遞減 ? λ\lambdaλ 搜索不穩定
-
樣本數:5
-
成本:全部 ci=1c_i=1ci?=1
-
預算:B=3B=3B=3
-
打分 pip_ipi?(嚴格單調增,但 Δpi\Delta p_iΔpi? = pi?pi?1p_i - p_{i-1}pi??pi?1? 不遞減/有重復):
i | 1 | 2 | 3 | 4 | 5 |
---|---|---|---|---|---|
pip_ipi? | 0.10 | 0.20 | 0.40 | 0.40 | 0.50 |
Δpi\Delta p_iΔpi? | — | 0.10 | 0.20 | 0.00 | 0.10 |
- 閾值集 {pi/ci}={0.10,0.20,0.40,0.40,0.50}\{p_i/c_i\}=\{0.10,0.20,0.40,0.40,0.50\}{pi?/ci?}={0.10,0.20,0.40,0.40,0.50}。
- 當 λ\lambdaλ 越過 0.40 時,會同時將樣本 3、4 都剔除,令選中數 C(λ)C(\lambda)C(λ) 從 3 直接跳到 1,形成大階梯。
C(λ)=#{i:pi>λ}={5,λ<0.10;3,0.10≤λ<0.20;3,0.20≤λ<0.40;1,0.40≤λ<0.50;0,λ≥0.50. C(\lambda)=\#\{i: p_i>\lambda\} \quad=\begin{cases} 5,&\lambda<0.10;\\ 3,&0.10\le\lambda<0.20;\\ 3,&0.20\le\lambda<0.40;\\ 1,&0.40\le\lambda<0.50;\\ 0,&\lambda\ge0.50. \end{cases} C(λ)=#{i:pi?>λ}=????5,3,3,1,0,?λ<0.10;0.10≤λ<0.20;0.20≤λ<0.40;0.40≤λ<0.50;λ≥0.50.?
二分搜索行為:
- 在 [0.20,0.40)[0.20,0.40)[0.20,0.40) 內,任意 mid 都命中 C=3C=3C=3,算法只能不斷逼近 0.40,永遠無法見到C<3C<3C<3的分支判定,也就卡在邊界來回,無法穩定收斂到唯一解。
示例 2:pip_ipi? 單調增且滿足邊際遞減 ? λ\lambdaλ 搜索穩定
-
樣本數:5
-
成本:全部 ci=1c_i=1ci?=1
-
預算:B=3B=3B=3
-
打分 pip_ipi?(嚴格單調增 且 Δpi\Delta p_iΔpi? 遞減):
iii | 1 | 2 | 3 | 4 | 5 |
---|---|---|---|---|---|
pip_ipi? | 0.10 | 0.18 | 0.24 | 0.28 | 0.30 |
Δpi\Delta p_iΔpi? | — | 0.08 | 0.06 | 0.04 | 0.02 |
- 閾值集 {0.10,0.18,0.24,0.28,0.30}\{0.10,0.18,0.24,0.28,0.30\}{0.10,0.18,0.24,0.28,0.30},且每次跨過一個閾值,只會剔除一個樣本。
C(λ)=#{i:pi>λ}={5,λ<0.10;4,0.10≤λ<0.18;3,0.18≤λ<0.24;2,0.24≤λ<0.28;1,0.28≤λ<0.30;0,λ≥0.30. C(\lambda)=\#\{i: p_i>\lambda\} \quad=\begin{cases} 5,&\lambda<0.10;\\ 4,&0.10\le\lambda<0.18;\\ 3,&0.18\le\lambda<0.24;\\ 2,&0.24\le\lambda<0.28;\\ 1,&0.28\le\lambda<0.30;\\ 0,&\lambda\ge0.30. \end{cases} C(λ)=#{i:pi?>λ}=????5,4,3,2,1,0,?λ<0.10;0.10≤λ<0.18;0.18≤λ<0.24;0.24≤λ<0.28;0.28≤λ<0.30;λ≥0.30.?
二分搜索行為:
- 目標:C(λ)=3C(\lambda)=3C(λ)=3。
- 初始區間 [0.10,0.30][0.10,0.30][0.10,0.30],mid=0.20 → C(0.20)=3C(0.20)=3C(0.20)=3 → 收縮右端 → [0.10,0.20][0.10,0.20][0.10,0.20]。
- mid=0.15 → C=4>3C=4>3C=4>3 → 收縮右端 → [0.10,0.15][0.10,0.15][0.10,0.15]。
- … 依次剔除第2號、第3號樣本,每次跨過一個閾值,CCC 變化為 4→3→2…,二分能穩定地一步步逼近恰好使 C=3C=3C=3 的 λ\lambdaλ。
核心對比
條件 | 階梯跳變 | 二分穩定性 |
---|---|---|
示例1:邊際不遞減或重復值 | 大階梯(一次掉多個) | 卡在大跳點來回 |
示例2:邊際嚴格遞減 | 小階梯(一次掉一個) | 逐次逼近,穩定收斂 |
- 只有當每次 λ\lambdaλ 觸碰一個閾值,就只影響一個樣本時,累積成本 C(λ)C(\lambda)C(λ) 曲線才近似“單調平滑”,二分才能一步步穩定逼近目標預算。
- 如果一次跨越多個閾值(示例1),或閾值間距極小/重復(前例),則會出現“跳變過大”或“可行區間過窄”,導致二分收斂失靈或來回擺動。