1.?scikit-learn流形學習庫概述

　　　　在scikit-learn中，流形學習庫在sklearn.manifold包中。里面實現的流形學習算法有：

　　　　1）多維尺度變換MDS算法：這個對應的類是MDS。MDS算法希望在降維時在高維里樣本之間的歐式距離關系在低維可以得到保留。由于降維時它需要考慮了樣本的全局歐式距離關系，因此降維計算量很大，現在一般較少使用了。

　　　　2）等距映射ISOMAP算法：這個對應的類是Isomap。?ISOMAP算法使用了樣本間的測地距離來代替歐式距離，此外基本和MDS算法相同。由于降維時它仍然需要考慮了樣本的全局測地距離關系，因此降維計算量很大。

　　　　3）局部線性嵌入LLE算法：這個對應的類是LocallyLinearEmbedding。這個就是我們LLE原理篇里面的算法、除了包含我們原理篇里講到的標準的LLE實現以外，它還支持改進版的LLE算法，包括MLLE，HLLE和LTSA。這三個算法我們在原理篇的第五節有介紹。后面我們會詳細講這個類的參數使用。

　　　　4）拉普拉斯特征映射LE算法：這個對應的類是SpectralEmbedding。這個算法使用了圖論的方法，用樣本構成的無向圖對應的拉普拉斯矩陣作特征分解來降維。具體方法和我們在譜聚類（spectral clustering）原理總結里面講到的基本相同。

　　　　5）t-distributed Stochastic Neighbor Embedding（t-SNE）算法:這個對應的類是TSNE。這個是一個比較新的降維方法。t-SNE希望樣本間的在高維對應的高斯核函數相似度在低維可以得到保留，即低維和高維有盡量一樣的相似度矩陣。

　　　　這些算法基本原理很類似，都基于流形降維后保持樣本之間的某一個特定的關系而產生。下面我們重點講述LLE算法的使用，即LocallyLinearEmbedding的使用。

2. LLE算法類庫使用介紹

　　　　LLE算法類LocallyLinearEmbedding使用起來并不復雜，一般來說，需要調參的參數只有樣本近鄰的個數。下面我們對LocallyLinearEmbedding的主要參數做一個介紹。

　　　　1）n_neighbors：即我們搜索樣本的近鄰的個數，默認是5。 n_neighbors個數越大，則建立樣本局部關系的時間會越大，也就意味著算法的復雜度會增加。當然n_neighbors個數越大，則降維后樣本的局部關系會保持的更好。在下一節我們可以通過具體的例子看出這一點。一般來說，如果算法運行時間可以接受，我們可以盡量選擇一個比較大一些的n_neighbors。

　　　　2）n_components：即我們降維到的維數。如果我們降維的目的是可視化，則一般可以選擇2-5維。

　　　　3)?reg?：正則化系數，在n_neighbors大于n_components時，即近鄰數大于降維的維數時，由于我們的樣本權重矩陣不是滿秩的，LLE通過正則化來解決這個問題。默認是0.001。一般不用管這個參數。當近鄰數遠遠的大于降維到的維數時可以考慮適當增大這個參數。

　　　　4）eigen_solver：特征分解的方法。有‘arpack’和‘dense’兩者算法選擇。當然也可以選擇'auto'讓scikit-learn自己選擇一個合適的算法。‘arpack’和‘dense’的主要區別是‘dense’一般適合于非稀疏的矩陣分解。而‘arpack’雖然可以適應稀疏和非稀疏的矩陣分解，但在稀疏矩陣分解時會有更好算法速度。當然由于它使用一些隨機思想，所以它的解可能不穩定，一般需要多選幾組隨機種子來嘗試。

　　　　5）method：即LLE的具體算法。LocallyLinearEmbedding支持4種LLE算法，分別是'standard'對應我們標準的LLE算法，'hessian'對應原理篇講到的HLLE算法，'modified'對應原理篇講到的MLLE算法，‘ltsa’對應原理篇講到的LTSA算法。默認是'standard'。一般來說HLLE/MLLE/LTSA算法在同樣的近鄰數n_neighbors情況下，運行時間會比標準的LLE長，當然降維的效果會稍微好一些。如果你對降維后的數據局部效果很在意，那么可以考慮使用HLLE/MLLE/LTSA或者增大n_neighbors，否則標準的LLE就可以了。需要注意的是使用MLLE要求n_neighbors > n_components，而使用HLLE要求n_neighbors > n_components * (n_components + 3) / 2

　　　　6）neighbors_algorithm：這個是k近鄰的搜索方法，和KNN算法的使用的搜索方法一樣。算法一共有三種，第一種是蠻力實現，第二種是KD樹實現，第三種是球樹實現。這三種方法在K近鄰法(KNN)原理小結中都有講述，如果不熟悉可以去復習下。對于這個參數，一共有4種可選輸入，‘brute’對應第一種蠻力實現，‘kd_tree’對應第二種KD樹實現，‘ball_tree’對應第三種的球樹實現， ‘auto’則會在上面三種算法中做權衡，選擇一個擬合最好的最優算法。需要注意的是，如果輸入樣本特征是稀疏的時候，無論我們選擇哪種算法，最后scikit-learn都會去用蠻力實現‘brute’。個人的經驗，如果樣本少特征也少，使用默認的 ‘auto’就夠了。如果數據量很大或者特征也很多，用"auto"建樹時間會很長，效率不高，建議選擇KD樹實現‘kd_tree’，此時如果發現‘kd_tree’速度比較慢或者已經知道樣本分布不是很均勻時，可以嘗試用‘ball_tree’。而如果輸入樣本是稀疏的，無論你選擇哪個算法最后實際運行的都是‘brute’。

3. LLE用于降維可視化實踐

　　　　下面我們用一個具體的例子來使用scikit-learn進行LLE降維并可視化。

　　　　首先我們載入需要的類庫：

import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
%matplotlib inline
from sklearn import manifold, datasets
from sklearn.utils import check_random_state

　　　　我們接著生成隨機數據，由于LLE必須要基于流形不能閉合，因此我們生成了一個缺一個口的三維球體。生成數據并可視化的代碼如下：

n_samples = 500
random_state = check_random_state(0)
p = random_state.rand(n_samples) * (2 * np.pi - 0.55)
t = random_state.rand(n_samples) * np.pi# 讓球體不閉合，符合流形定義
indices = ((t < (np.pi - (np.pi / 8))) & (t > ((np.pi / 8))))
colors = p[indices]
x, y, z = np.sin(t[indices]) * np.cos(p[indices]), \np.sin(t[indices]) * np.sin(p[indices]), \np.cos(t[indices])

fig = plt.figure()
ax = Axes3D(fig, elev=30, azim=-20)
ax.scatter(x, y, z, c=p[indices], marker='o', cmap=plt.cm.rainbow)

　　　　我們可以看到原始的數據是這樣的：

　　　　現在我們簡單的嘗試用LLE將其從三維降為2維并可視化，近鄰數設為30，用標準的LLE算法。

train_data = np.array([x, y, z]).T
trans_data = manifold.LocallyLinearEmbedding(n_neighbors =30, n_components = 2,method='standard').fit_transform(train_data)
plt.scatter(trans_data[:, 0], trans_data[:, 1], marker='o', c=colors)

　　　　降維到2維后的效果圖如下：

　　　　可以看出從三維降到了2維后，我們大概還是可以看出這是一個球體。

　　　　現在我們看看用不同的近鄰數時，LLE算法降維的效果圖，代碼如下：

for index, k in enumerate((10,20,30,40)):plt.subplot(2,2,index+1)trans_data = manifold.LocallyLinearEmbedding(n_neighbors = k, n_components = 2,method='standard').fit_transform(train_data)plt.scatter(trans_data[:, 0], trans_data[:, 1], marker='o', c=colors)plt.text(.99, .01, ('LLE: k=%d' % (k)),transform=plt.gca().transAxes, size=10,horizontalalignment='right')
plt.show()

　　　　效果圖如下：

　　　　現在我們看看還是這些k近鄰數，用HLLE的效果。

for index, k in enumerate((10,20,30,40)):plt.subplot(2,2,index+1)trans_data = manifold.LocallyLinearEmbedding(n_neighbors = k, n_components = 2,method='hessian').fit_transform(train_data)plt.scatter(trans_data[:, 0], trans_data[:, 1], marker='o', c=colors)plt.text(.99, .01, ('HLLE: k=%d' % (k)),transform=plt.gca().transAxes, size=10,horizontalalignment='right')
plt.show()