新的預測模型的局部評價指標-pAUROCc

Background

局部評價主要是用在不平衡數據上，其合理性：1.局部評價比全局評價敏感，更容易區分模型的優劣；2.臨床決策曲線（DCA）可知，模型使用過程中，閾值是在一個范圍之內，在這個范圍之內的模型效能才會直接影響模型的應用。局部評價并不是新提出的概念。使用pROC包可以實現y軸方向上的AUROC局部評價，而使用precrec包可以實現x軸和y軸上的AUROC局部評價。
pAUCc（concordent partial AUC ）是在2020年一篇文章（PMID：31906931）中介紹的指標，可以用于評價不平衡數據，作者認為是優于現有的局部AUROC的評價指標，詳細的關于這個指標的介紹和評價，可以參考以上文獻。
下圖是對該指標的解釋:

Introduction of the APP

為了讓大家更直觀的了解這個局部評價指標，制作了這個APP。在這個APP中，使用了precrec包內的函數來實現。通過使用內置的數據或者上傳自己的數據來觀察局部評價的指標的制作過程，體會局部評價是否較全局評價更加能夠區分模型優劣。目前主要涉及了兩個模塊，演示模塊和分析模塊。兩個模塊幾乎一樣，不同的是演示模塊使用的內置的數據集，不需要自己上傳數據，而分析模塊有稍多的可調整的參數。
本APP需要的數據為模型預測的概率和實際的標簽。
模塊1：數據集為內置，選擇相應的列，即可顯示局部AUROC的計算結果和圖像，可調節的參數為閾值的范圍。有助于理解相關的概念和數據要求。
模塊2：自行上傳數據集，增加了一個調整參數，曲線的精細度，是通過調整閾值的跨度來實現的，數值越小曲線越精細，但對局部AUC的計算并沒有影響。在進行了全局評價之后，可以使用預測概率進行局部評價，對比一下效果。
APP address: https://liuyp2080.shinyapps.io/partialROCcDemo/

其它APP地址：

DCA分析的演示，https://liuyp2080.shinyapps.io/DcaDemonstration/
保序回歸的演示，https://liuyp2080.shinyapps.io/save_your_probability/