為什么共現矩陣是高維稀疏的？
共現矩陣（Co-occurrence Matrix）的高維稀疏性是其固有特性，主要由以下原因導致：
1. 高維性的根本原因
- 詞匯表大小決定維度：
共現矩陣的維度為 ( V \times V )，其中 ( V ) 是詞匯表的大小（即語料庫中所有唯一單詞的數量）。- 例如：一個包含10,000個唯一單詞的語料庫，共現矩陣的維度是 ( 10,000 \times 10,000 )，即1億個元素。
- 詞匯表通常很大：
自然語言的詞匯量龐大（如英語有數十萬常用詞），導致共現矩陣的維度極高。
2. 稀疏性的根本原因
- 單詞共現的局部性：
- 自然語言中，單詞的共現是局部的（通常只在固定窗口內共現）。
- 例如：在句子“I like apples”中，只有“I”和“like”、“like”和“apples”共現，其他單詞對（如“I”和“apples”）不會共現。
- 大多數矩陣元素為0：
- 對于任意兩個單詞 ( i ) 和 ( j )，它們在大多數窗口中不會同時出現，因此 ( M_{ij} = 0 )。
- 例如：在 ( 10,000 \times 10,000 ) 的矩陣中，可能只有不到1%的元素非零。
3. 高維稀疏性的具體表現
| 特性 | 描述 |
|---|---|
| 高維性 | 維度等于詞匯表大小（通常數千到數十萬），導致存儲和計算成本極高。 |
| 稀疏性 | 大多數元素為0，非零元素僅占極小比例（如0.01%-1%）。 |
| 存儲效率低 | 直接存儲稀疏矩陣會浪費大量空間（如存儲1億個元素，其中99%是0）。 |
| 計算復雜 | 矩陣運算（如SVD降維）在稀疏矩陣上效率低，需要特殊優化（如稀疏矩陣算法）。 |
4. 為什么稀疏性無法避免？
- 自然語言的離散性：
單詞是離散的符號，共現關系是稀疏的（大多數單詞對不會同時出現）。 - 窗口限制：
共現統計通常基于固定窗口（如2-5個單詞），進一步限制了共現范圍。 - 長尾分布：
單詞的共現頻率服從長尾分布（少數高頻詞對共現次數多，大多數詞對共現次數極少或為0）。
5. 稀疏性的影響與應對方法
| 影響 | 應對方法 |
|---|---|
| 存儲成本高 | 使用稀疏矩陣存儲格式（如CSR、CSC），只存儲非零元素及其位置。 |
| 計算效率低 | 使用稀疏矩陣算法（如稀疏SVD、稀疏PCA），避免對零元素的冗余計算。 |
| 語義信息分散 | 通過降維技術（如SVD、NMF）將高維稀疏矩陣壓縮為低維稠密向量。 |
| 過擬合風險 | 在降維或建模時加入正則化（如L1正則化），抑制噪聲。 |
6. 稀疏性的案例說明
假設有一個小型語料庫：
- “I like apples”
- “I like bananas”
- “You like oranges”
詞匯表：[I, like, apples, bananas, You, oranges]
窗口大小=2，共現矩陣（僅顯示部分）：
| I | like | apples | bananas | You | oranges | |
|---|---|---|---|---|---|---|
| I | 0 | 2 | 0 | 0 | 0 | 0 |
| like | 2 | 0 | 1 | 1 | 1 | 0 |
| apples | 0 | 1 | 0 | 0 | 0 | 0 |
| bananas | 0 | 1 | 0 | 0 | 0 | 0 |
| You | 0 | 1 | 0 | 0 | 0 | 1 |
| oranges | 0 | 0 | 0 | 0 | 1 | 0 |
- 高維性：矩陣維度為 ( 6 \times 6 )（實際語料庫中維度更高）。
- 稀疏性：非零元素僅占 ( \frac{8}{36} \approx 22% )（實際語料庫中通常低于1%）。
7. 稀疏性與詞向量質量的關系
- 稀疏性≠低質量：
稀疏矩陣本身可以捕捉共現關系，但直接使用高維稀疏向量效率低。 - 降維的必要性：
通過SVD等降維技術，將稀疏矩陣壓縮為低維稠密向量（如300維），同時保留主要語義信息。- 例如：降維后，“apples”和“bananas”的向量會更接近，反映語義相似性。
8. 總結：高維稀疏性的本質
- 高維性：由詞匯表大小決定，反映單詞的離散性。
- 稀疏性：由單詞共現的局部性和自然語言的長尾分布決定。
- 應對策略：
- 存儲：使用稀疏矩陣格式。
- 計算：使用稀疏矩陣算法。
- 建模：通過降維技術生成低維稠密詞向量。
9. 延伸思考
- 如何量化稀疏性？
- 稀疏度 = ( \frac{\text{零元素數}}{\text{總元素數}} )。
- 例如：( 10,000 \times 10,000 ) 矩陣中，若非零元素為100萬，則稀疏度為99%。
- 稀疏性與過擬合的關系？
- 稀疏矩陣可能導致模型學習到噪聲（如罕見詞對的共現），需通過正則化緩解。
- 現代NLP如何繞過稀疏性？
- 直接使用神經網絡（如Word2Vec、BERT）生成稠密詞向量，避免顯式構建共現矩陣。
)
