賽題思路

（賽題出來以后第一時間在CSDN分享）

https://blog.csdn.net/dc_sinor?type=blog

一、簡介 – 關于異常檢測

異常檢測（outlier detection）在以下場景：

• 數據預處理
• 病毒木馬檢測
• 工業制造產品檢測
• 網絡流量檢測

等等，有著重要的作用。由于在以上場景中，異常的數據量都是很少的一部分，因此諸如：SVM、邏輯回歸等分類算法，都不適用，因為：

監督學習算法適用于有大量的正向樣本，也有大量的負向樣本，有足夠的樣本讓算法去學習其特征，且未來新出現的樣本與訓練樣本分布一致。

以下是異常檢測和監督學習相關算法的適用范圍：

異常檢測

• 信用卡詐騙
• 制造業產品異常檢
• 數據中心機器異常檢
• 入侵檢測

監督學習

• 垃圾郵件識別
• 新聞分類

二、異常檢測算法

import tushare
from matplotlib import pyplot as pltdf = tushare.get_hist_data("600680")
v = df[-90: ].volume
v.plot("kde")
plt.show()

近三個月，成交量大于200000就可以認為發生了異常（天量，嗯，要注意風險了……）

2. 箱線圖分析

import tushare
from matplotlib import pyplot as pltdf = tushare.get_hist_data("600680")
v = df[-90: ].volume
v.plot("kde")
plt.show()

大體可以知道，該股票在成交量少于20000，或者成交量大于80000，就應該提高警惕啦！

3. 基于距離/密度

典型的算法是：“局部異常因子算法-Local Outlier Factor”，該算法通過引入“k-distance，第k距離”、“k-distance neighborhood，第k距離鄰域”、“reach-distance，可達距離”、以及“local reachability density，局部可達密度 ”和“local outlier factor，局部離群因子”，來發現異常點。

用視覺直觀的感受一下，如圖2，對于C1集合的點，整體間距，密度，分散情況較為均勻一致，可以認為是同一簇；對于C2集合的點，同樣可認為是一簇。o1、o2點相對孤立，可以認為是異常點或離散點。現在的問題是，如何實現算法的通用性，可以滿足C1和C2這種密度分散情況迥異的集合的異常點識別。LOF可以實現我們的目標。

4. 基于劃分思想

典型的算法是 “孤立森林，Isolation Forest”，其思想是：

假設我們用一個隨機超平面來切割（split）數據空間（data space）, 切一次可以生成兩個子空間（想象拿刀切蛋糕一分為二）。之后我們再繼續用一個隨機超平面來切割每個子空間，循環下去，直到每子空間里面只有一個數據點為止。直觀上來講，我們可以發現那些密度很高的簇是可以被切很多次才會停止切割，但是那些密度很低的點很容易很早的就停到一個子空間了。

這個的算法流程即是使用超平面分割子空間，然后建立類似的二叉樹的過程：

import numpy as np
import matplotlib.pyplot as plt
from sklearn.ensemble import IsolationForestrng = np.random.RandomState(42)# Generate train data
X = 0.3 * rng.randn(100, 2)
X_train = np.r_[X + 1, X - 3, X - 5, X + 6]
# Generate some regular novel observations
X = 0.3 * rng.randn(20, 2)
X_test = np.r_[X + 1, X - 3, X - 5, X + 6]
# Generate some abnormal novel observations
X_outliers = rng.uniform(low=-8, high=8, size=(20, 2))# fit the model
clf = IsolationForest(max_samples=100*2, random_state=rng)
clf.fit(X_train)
y_pred_train = clf.predict(X_train)
y_pred_test = clf.predict(X_test)
y_pred_outliers = clf.predict(X_outliers)# plot the line, the samples, and the nearest vectors to the plane
xx, yy = np.meshgrid(np.linspace(-8, 8, 50), np.linspace(-8, 8, 50))
Z = clf.decision_function(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)plt.title("IsolationForest")
plt.contourf(xx, yy, Z, cmap=plt.cm.Blues_r)b1 = plt.scatter(X_train[:, 0], X_train[:, 1], c='white')
b2 = plt.scatter(X_test[:, 0], X_test[:, 1], c='green')
c = plt.scatter(X_outliers[:, 0], X_outliers[:, 1], c='red')
plt.axis('tight')
plt.xlim((-8, 8))
plt.ylim((-8, 8))
plt.legend([b1, b2, c],["training observations","new regular observations", "new abnormal observations"],loc="upper left")
plt.show()

建模資料

資料分享: 最強建模資料