編者按
本次論文導讀,編者選擇了10月份OR和MS上與"人的預測"有關的三篇文章,分別涉及群體智慧的提取,個體序列預測的評估,以及決策者對風險的扭曲感知在分布式魯棒優化中的應用。其中,從基于"生成式可能世界狀態模型"(GPWM)進行群體預測的聚合,到使用嚴格的序貫檢驗模型來比較預測者的表現,本次選取的三篇文章對"人的預測"相關的數學建模、統計分析及其在優化問題中的應用都有一定啟發,希望能引起相關讀者的興趣。
推薦文章1
●?題目:A Bayesian Hierarchical Model of Crowd Wisdom Based on Predicting Opinions of Others?
基于他人意見預測的群體智慧貝葉斯層次模型
●?期刊:Management Science
●?原文鏈接:https://doi.org/10.1287/mnsc.2023.4955
●?發表日期:October 19, 2023
●?作者:John McCoy, Drazen Prelec
●?關鍵詞:
??Wisdom of crowds 群體智慧
??Expertise 專家知識
??Bayesian hierarchical model 貝葉斯層次模型
??Surprisingly popular answer 令人驚訝的流行答案
●?主要內容:
-
本文的背景知識是關于群體智慧的提取方法和挑戰。群體智慧是指多個人的集體智慧比單個個體更強大,可以應用于企業決策、市場研究、公共政策和醫療保健等領域。文章介紹了一些提取群體智慧的方法,如統計聚合信息和識別專業知識。然而,這些方法存在一些弱點,如無法考慮個體之間的信息差異和洞察力差異,以及無法準確獲取世界先驗知識和信號矩陣。文章提出了一種新的方法,稱為generative possible worlds model (GPWM),以解決這些問題。
-
本文的實現過程是通過引入、探索和實證驗證generative possible worlds model?(GPWM)。作者認為GPWM是將頻率學派元素轉化為貝葉斯群體智慧推斷模型的自然而必要的一步。作者在多個實證數據集上評估了模型的性能,包括分類和概率數據,并將其與標準的單問題群體智慧方法以及現有的兩個貝葉斯層次模型進行了比較。GPWM和現有的貝葉斯層次聚合模型之間的區別在于,現有的貝葉斯層次聚合模型將正確答案與共識聯系起來,而GPWM則不做這個假設。現有的模型假設共識是正確答案,而GPWM允許多數信號在所有問題上都是錯誤的可能性。即使在這種極端情況下,GPWM原則上也可以恢復正確答案,因為人們對其他人的預測提供了關于正確信號的概率的額外信息。此外,現有的貝葉斯層次聚合模型依賴于學習受訪者級別的參數,而GPWM可以使用關于他人的預測來推斷問題級別的潛在參數,從而獲得正確答案,而無需在多個問題上學習個體受訪者的信息。
??預測回答真的比例(即預測別人的預測)在GPWM模型中起到了重要的作用。根據論文中的信息,預測回答真的比例可以幫助揭示參與者對信息的共享程度以及誰擁有不被廣泛共享的信息的信念。如果理性的參與者在預測自己處于少數派的情況下仍然給出特定的判斷,那么這表明他們相信自己擁有不被廣泛共享的知識或洞察力。通過比較投票預測和實際投票,可以幫助了解參與者對信息在群體中的普遍程度以及誰擁有不被廣泛共享的信息的信念。此外,預測回答真的比例還可以幫助確定在不同可能的世界狀態下,群體投票的分布情況。這對于正確解釋群體中投票分布是必要的,因為僅僅知道群體中70%的人投票“是”并不能得出最佳答案是“是”,還需要知道在不同可能的世界狀態下群體會如何投票。因此,預測回答真的比例在模型中有助于獲取關于群體中投票分布的信息,從而提高群體智慧的準確性和可靠性。
-
作者在實驗中采用了多個研究來評估模型的性能。根據論文中的信息,其中三個研究是關于美國州首府的問題,參與者需要判斷每個問題的答案是真還是假,并預測回答真的比例。這三個研究分別在麻省理工學院和普林斯頓大學的實驗室中進行。另外兩個研究是關于20世紀藝術品市場價格的問題,一個研究中參與者是藝術專業人士,主要是畫廊所有者,另一個研究中參與者是沒有學習過藝術或藝術史課程的研究生。參與者需要判斷90件20世紀藝術品的市場價格,并將其分為兩個價格范圍:低于30,000美元和高于30,000美元。在這些研究中,參與者除了回答問題和預測比例外,還需要給出他們的自信度。具體的實驗協議和數據分析細節可以在論文的在線附錄中找到。
推薦文章2
●?題目:Comparing Sequential Forecasters?
比較序列時間預測者
●?期刊:Operations Research
●?原文鏈接:https://doi.org/10.1287/opre.2021.0792
●?發表日期:October 17, 2023
●?作者:Yo Joong Choe, Aaditya Ramdas
●?關鍵詞:
??anytime valid sequential inference 任意時間有效的序貫推理
??confidence sequences 信心序列
??e-processes e-過程
??forecast evaluation 預測評估
??nonparametric statistics 非參數統計
●?主要內容:
??本文的背景是關于預測能力比較的問題。文章指出,盡管預測在各個領域中非常普遍,但在如何正式比較不同預測者的預測能力方面并不明顯,特別是在預測者針對一系列結果進行預測的順序設置中。例如,文章提到了2019年世界大賽每場比賽的概率預測,但我們不清楚如何有效地建模隨時間變化的棒球比賽結果,并且對于每個預測者如何得出預測也沒有完整的信息。文章通過觀察這些預測和結果的過程,使用置信區間序列來評估預測者之間的差異,并量化這種差異是否可以歸因于偶然或運氣。這種評估方法不需要對現實或預測方法做出假設。
??本文設計了一種新穎的順序推斷程序,用于估計預測分數的時變差異。這些程序使用了連續監測的置信區間序列,這些序列在任意數據相關的停止時間點上都是有效的。置信區間的寬度是根據分數差異的底層方差自適應調整的。這些程序的構建基于博弈論統計框架,進一步識別了用于順序檢驗弱零假設的e-processes和p-processes,即一個預測者在平均情況下是否優于另一個預測者。這些方法不對預測或結果做分布假設;主要定理適用于任何有界分數,而后續提供了針對無界分數的替代方法。
-
? 本文的模型主要是基于預測得分的差異來評估預測者的能力。模型定義了點預測得分差異和其經驗估計。通過計算累積的差異和,可以構建一個鞅(martingale)。對于所有的時間點,通過構建指數測試超鞅(exponential test supermartingales),可以對累積的差異和進行統一且非漸近的界定,從而完成估計和覆蓋。
-
停止時間的概念在本文中涉及是因為我們希望能夠在任意數據依賴的停止時間上進行有效的推斷和比較不同預測者的預測能力。在預測任務中,我們通常會在一定的時間范圍內觀察預測者的預測和實際結果。停止時間是指我們選擇觀察預測者的預測和實際結果的時間點。通過引入停止時間的概念,我們可以更準確地評估預測者的預測能力,并進行比較。這種方法可以避免在固定時間點上進行比較時可能出現的偏差和誤導。因此,停止時間的概念在本文中起到了關鍵的作用。
本文使用真實數據進行了實證驗證。在棒球方面,研究者比較了不同預測者對2019年世界大賽每場比賽的概率預測。在天氣預報方面,研究者比較了不同預測者使用統計后處理方法的集合天氣預報。此外,研究者還在模擬數據上驗證了他們的方法,并與固定時間和漸近置信區間進行了比較。
推薦文章3
●?題目:Distributionally Robust Optimization Under Distorted Expectations?
在扭曲期望下的分布式魯棒優化
●?期刊:Operations Research
●?原文鏈接:https://doi.org/10.1287/opre.2020.0685
●?發表日期:October 10, 2023
●?作者:Jun Cai, Jonathan Yu-Meng Li, Tiantian Mao
●?關鍵詞:
??distributionally robust optimization 分布式魯棒優化
??distortion risk measure 扭曲的風險度量
??convex risk measure 凸風險度量
??convex envelope 凸包
●?主要內容:
??本文的背景是關于分布魯棒優化(Distributionally Robust Optimization,DRO)在處理決策優化中的分布不確定性問題的重要范式。在決策者不是風險中性的情況下,DRO中最常用的方案是使用期望效用函數來捕捉風險態度。然而,本文提出了一種替代方案,即使用雙重期望效用(dual expected utility)來處理決策者的風險態度。在這種方案中,通過應用畸變函數將物理概率轉化為主觀概率,從而得到一個被稱為畸變期望的結果,該畸變期望能夠捕捉決策者的風險態度。與期望效用函數線性地依賴概率不同,在雙重方案中,畸變期望通常是概率的非線性函數。
??扭曲期望是一種模擬決策者風險態度的方法。與線性依賴概率的期望效用函數不同,在扭曲期望的方案中,扭曲期望通常是概率的非線性函數。這種非線性性質使得扭曲期望能夠更靈活地捕捉決策者的風險態度,包括對極端結果的過度權重或偏好。這個扭曲函數是一個非遞減函數,并且滿足一些特定的條件。在實踐中,常用的扭曲函數包括累積概率理論中的反S形扭曲函數。通過使用扭曲期望來模擬決策者的風險態度,我們可以更準確地在決策優化中反映決策者對不確定性的態度。
??本文強調了基于扭曲期望構建的分布魯棒優化問題的計算可行性,并且表明在許多情況下,可以通過求解基于某個凸扭曲函數構建的替代分布魯棒優化問題來解決這個問題,后者通常可以通過凸優化技術來精確或近似地求解。本文的DRDRO框架的可行性是建立在分析的基礎上的,該分析表明,當根據基于矩的模糊集繪制的最壞情況分布進行評估時,具有非凸扭曲函數的扭曲期望總是給出與其凸對應物等價的風險評估。此外,本文還提供了一個必要條件,用于判斷模糊集合是否滿足這種等價性。值得注意的是,本文還提到了對于其他類型的模糊集,如基于距離的模糊集,是否可以獲得類似的等價結果,這是一個自然的問題。
??數值實驗的結果顯示,當決策者在面對分布不確定性時過度關注極端結果時,最優決策會變得更加風險規避,并且隨著對極端結果的權重增加,決策者試圖對沖的最壞情況分布也會發生變化。數值實驗還展示了使用扭曲期望來進行決策時的一些情況。具體來說,數值實驗使用了逆S形扭曲函數,并應用于一個具體的案例,該案例涉及到運輸成本的不確定性。數值實驗中使用的數據來源是根據論文中提供的信息進行的模擬。