技術手段: BI工具(finereport )、python、sql
數據更新: 每日零點更新數據。(獨立開發)
商業智能分析平臺 | Python/FineReport/SQLAlchemy
項目描述
業務價值 :解決原有系統無法快速定位傭金異常的問題,建立「日期→商家→渠道→計劃」四級下鉆體系,使問題定位時效從1小時縮短至15分鐘。重點監控頭部媒體數據趨勢,通過異常預警機制推動業務及時溝通。
標題技術實現 :
- 動態檢測引擎:
采用滾動窗口(14天)±2.5σ動態閾值算法并結合傭金同比波動率來判斷異常。通過Python(SQLAlchemy)整合3個異構數據源,構建bi_duomaicps分析庫
增加同比波動率輔助判斷(當前值/去年同期值-1)。 - 智能可視化:
使用FineReport開發交互看板:
? 日期層:雙軸趨勢圖(當月/環比/同比)+ 紅點標記異常日期(K=2.5)
? 商家層:柱線組合圖(絕對波動+波動率),自動篩選波動率>0.3 & 絕對波動>3000的異常商家
? 計劃層:多系列折線圖展示異常計劃傭金流向,支持近14天趨勢回溯 - 數據架構:
設計anomalies_date等5張核心分析表,建立每日零點自動更新機制.
項目 意義:可以根據數據重點關注到頭部媒體的趨勢,以確認是否需要單獨溝通媒體增量/控量/獲取媒體反饋。不僅起到了明顯的提效作用,還能幫助及時風控,從折線圖可以及時發現異常增量趨勢、數據異常趨勢,及時溝通媒體后,減少風險/損失。
一、 從日期維度分析異常
● 首頁展示的是當月 傭金數據 ,同時對比 上月和上年同期的傭金趨勢,同時下面明細表展示MOM和YOY的情況,方便業務人員導出數據。
● 通過數據分析異常突增或突減的日期來紅點顯示,并在表格上突出顯示。
● 下鉆功能: 點擊當前傭金分類可下鉆到 該異常日期下的渠道/商家波動情況,方便業務追蹤溯源。
數據源: 所有數據通過python 的sqlalchemy鏈接三個數據源 ,并且縱向合并到建立在115.238.100.75下的bi_duomaicps庫。
異常判斷邏輯:
● 動態閾值:閾值 = 滾動窗口均值 ± K*滾動標準差
窗口周期(如14天),K=2~3
● 同比波動率輔助判斷(當前值/去年同期值-1)
異常日期表(anomalies_date):記錄異常日期、傭金、滾動均值、滾動標準差、上限、下限、引用日期、偏離程度。
二、商家/渠道 總體分析
通過點擊上圖異常日期下的跳轉到具體商家和渠道下的情況;
可篩選項: 波動率 、 絕對波動和異常日期。
○ 波動率:( 當前值-歷史均值)/歷史均值
○ 絕對波動: abs(當前值-歷史均值)
○ 且/或 (用戶可 只篩選滿足波動率或者絕對波動情況條件的商家/渠道,或同時滿足兩個條件的商家/渠道),默認展示波動率>0.3,絕對波動幅度> 3000的商家,僅展示異常明顯的商家/渠道。
展示上:使用finereportBI工具, 圖為柱形/折現圖 , 柱子高度為商家/渠道的絕對波動 , 折線對應商家/渠道的波動率,通過柱形和折線結合分析商家/渠道的波動情況,下方附帶明細表格方便業務人員導出。
下鉆功能: 點擊對應商家/渠道 的柱子可跳轉到商家/渠道 下的計劃情況。
數據源: 115.238.100.75下的bi_duomaicps庫。
異常日期下 所有商家和渠道情況
表: analysis_result_business
表:analysis_result_client
三、 商家/渠道下 計劃的 分析
察覺到異常商家/渠道之后,點擊下鉆到該商家/渠道下的計劃情況,先分析該商家/渠道 最近2周的趨勢,確定異常日期前后的趨勢,然后點擊‘計劃’按鈕,折線圖增加計劃分類。之后篩選出異常計劃。
展示上:
● 圖形:該商家/渠道 近2周的傭金趨勢變化情況,該商家/渠道 近2周的計劃(異常計劃)傭金趨勢變化情況。
所有計劃傭金占比圖。
● 表格: 商家/渠道明細表,方便也業務導出分析。
繼續向 該渠道下計劃分析,點擊 只看異常的計劃。
了解到該異常計劃后,業務人員能夠快速定位 到該計劃 異常情況,并且及時做出反饋。
表: bi_duomaicps.analysis_result_client_ads