ICA學習(2)

1.公式推導

1.1兩個問題

ICA算法會帶來2個不確定性:

????????幅值不確定性和順序不確定性。

1.2 推導

觀測數據?x?是盲源?s 的線性混合:x?=?As? ??? ? ? ? ???(1)

????????此時,W矩陣是未知的,ICA算法的目的便是找到一個最優的矩陣W,實現對矩陣S^的求解。如果直接采用線性代數的方法對(2)式進行求解,顯然是不可行的。因此需要增加額外的條件讓(2)式更容易求解。

????????ICA算法通過假設Si 為兩兩相互獨立的隨機變量,由矩陣A變換后,成為兩兩非相互獨立的隨機變量Xi從而進行求解。這個條件也限制了Xi中最多只能有一個呈高斯分布的隨機變量,否則,就不能滿足Xi之間兩兩非相互獨立的條件。?

上文解釋:

????????當獨立的源信號?Si??被混合矩陣?A?線性組合后,得到的觀測信號?Xi??會失去獨立性,變成 “兩兩非相互獨立”。ICA 的求解邏輯就是 “源信號?Si??獨立 → 混合后?Xi??非獨立”,進行反向操作:

  1. 從觀測信號?X(非獨立)出發,假設它由 “獨立源?S?混合” 而來;
  2. 通過算法尋找一個 “解混矩陣?W”(即你提到的?W?矩陣 ),使得?W?X?的結果盡可能接近 “獨立的源信號?S”;
  3. 最終,當?W?X?恢復出 “兩兩獨立” 的特性時,就認為找到了源信號?S?的近似解?S^。

?為什么限制 “最多一個高斯分布”?

????????如果源信號?Si??中有兩個或以上是高斯分布,混合后的觀測信號?Xi??會因 “高斯分布的線性組合仍為高斯分布”,導致?Xi??之間的 “非獨立性” 無法區分(數學上,多個獨立高斯信號混合后,無法通過統計方法唯一解混 )。因此,ICA 要求源信號?Si??中最多一個是高斯分布,才能保證混合后的?Xi??有 “可解混” 的非獨立性。????????

限制一個高斯分布的證明過程

????????已知高斯分布的概率密度函數是:

????????假設混合信號x1,x2都滿足高斯分布,其聯合概率分布函數可以寫成:

????????根據概率論中對相互獨立的定義,x1,x2相互獨立,從而無法滿足ICA算法中,混合信號xi之間兩兩非相互獨立的要求。

繼續證明:

????????ICA 算法的目的是得到兩兩相互獨立的Si?,因此需要對求解結果之間的獨立性進行評結,評估的方式是對結果的非高斯性進行量化評估。

????????根據 (3) 式,X由多獨立成分混合成的,為了簡化問題,假設這些獨立成分有相同的分布。現在考慮其中一個獨立成分的求解。

????????此時,y?可以視為?Si??的線性組合。根據中心極限定理 (多個獨立隨機變量的線性組合/或均值,其分布會隨著組合項數的增加,逐漸趨近于高斯分布),y?比任何一個?Si??都更加接近高斯分布。通過尋找一個?w,讓?wT·x?的高斯性盡可能的低,從而讓?y?接近某個?Si?,這是 ICA 算法的核心思路。最理想的情況是向量中只有一個非零值,此時,y?就等價于某個?s。

????????對隨機變量的非高斯性進行量化評價通常有以下幾種方法,假設隨機變量?y?的期望為 0,方差為 1。

1.3 評估隨機變量的非高斯性(峰度)

假設隨機變量的期望為0,方差為1

1.峰度
峰度定義為:

通過假設y的方差為 1,(8) 式可以簡化為:

若y符合高斯分布,則峰度kurt(y)=0,對于大多數非高斯隨機變量為非零值。

峰度有以下性質:對于兩個獨立的隨機變量x1?,x2?,有:

假設有獨立成分?s1?,s2?,有峰度?kurt(s1?),kurt(s2?),尋找其中的一個獨立成分y:

根據(式7),且(獨立成分的方差為1,期望為0,Si的平方的期望為1)

?

獨立成分的方差為1,期望為0,即

?由 (12) 式得:

????????通過讓 (14) 式的值最大化,減小y的高斯性。最理想的情況下,z1?,z2?中一個為 0,一個非零。此時,非零的zi?等于 1 或 - 1,y等價于某個±si?。

????????實際應用中,需要計算∣kurt(y)∣到最大值的梯度,從而迭代w的值,然而峰值并不是衡量高斯性的最好方法 。

1.4 評估隨機變量的非高斯性(負熵)

負熵定義:

其中,Ygaussian??是與?y?有相同協方差矩陣的隨機變量。

????????負熵總是非負的,當?y?是高斯分布時,負熵為 0。這是對高斯性的最佳衡量方式,缺點是計算復雜,因此可以使用一些近似的方法求負熵。??

1.4.1 高階矩

假設y期望為0,方差為1,則:

1.4.2 最大熵近似原理?

假設y期望為0,方差為1,則:

其中,v為高斯變量,G為非二次函數,需自行定義。一些比較好的G如下所示:

1.5 最小化互信息

見文 ICA學習(1)的?6.?最小化多重信息的簡化部分

總結:最下化互信息即最大化負熵。

2. ICA的預處理

2.1 中心化

????????中心化是非常基礎,也是很有必要的預處理過程。假設向量 x 的期望是 m,將向量 x 的所有元素減去 m,可以使向量 x 的均值變為 0。中心化可以表達為:

????????E(x?E(x))=0? ? ? ? ? ? ? ? ? ? (26)

2.2 白化處理

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/pingmian/90159.shtml
繁體地址,請注明出處:http://hk.pswp.cn/pingmian/90159.shtml
英文地址,請注明出處:http://en.pswp.cn/pingmian/90159.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

【愚公系列】《MIoT.VC》002-構建基本仿真工作站(布局一個基本工作站)

??【行業認證權威頭銜】 ? 華為云天團核心成員:特約編輯/云享專家/開發者專家/產品云測專家 ? 開發者社區全滿貫:CSDN博客&商業化雙料專家/阿里云簽約作者/騰訊云內容共創官/掘金&亞馬遜&51CTO頂級博主 ? 技術生態共建先鋒:橫跨鴻蒙、云計算、AI等前沿領域…

網絡協議相關

OSI七層模型包含物理層、數據鏈路層、網絡層、傳輸層、會話層、表示層和應用層;TCP/IP四層模型將其簡化為網絡接口層、網絡層、傳輸層和應用層;映射關系:例如OSI的物理層和數據鏈路層對應TCP/IP的網絡接口層,主要處理MAC地址尋址和物理介質傳輸。協議模型對比兩者的…

【CNN】LeNet網絡架構

1.MLP多層感知機MLP(Multilayer Perceptron),也是人工神經網絡(ANN,Artificial Neural Network),是一種全連接多層感知機(Multilayer Perceptron, MLP)是一種前饋神經網絡…

VSCODE 禁用git 功能

第一步,打開設置第二步,搜 git:Enabled

Spring Boot05-熱部署

一、Spring Boot 啟動熱部署Spring Boot 啟動“熱部署(Hot Deployment)”,可以讓你在不重啟項目的情況下快速看到代碼變更的效果(特別是前后端調試階段)。1-1、什么是熱部署?熱部署是指:修改 Ja…

網站域名備案和服務器有關系嗎

域名備案的那些事兒域名備案,簡單來說,就是把你的網站信息登記到相關管理部門那里。這就好比你開個小店,得去工商局登記一下,讓人家知道你在干啥。根據我國相關規定,凡是使用大陸境內服務器提供服務的網站,…

2025華為ODB卷-推薦多樣性200分-三語言題解

?? 華為OD機試真題精選 2025B卷合集 推薦多樣性200分 問題描述 A先生正在設計一個推薦系統,需要考慮多樣性,要求從多個列表中選擇元素。系統一次性需要返回 N N N 屏數據(窗口數量),每屏展示 K K

ZeroMQ源碼深度剖析:網絡機制與性能優化實戰

目錄1 發布訂閱過濾的高效實現2 ZeroMQ的核心優勢3 常見Socket類型及應用4 異步連接實現機制5 斷線重連機制6 高水位線(HWM)深度解析7 消息丟失與錯誤處理8 消息幀(Frame)高級特性9 高效性實現原理10 無鎖消息隊列設計11 零拷貝實…

[數據庫]Neo4j圖數據庫搭建快速入門

[數據庫]圖數據庫基礎入門 概念 圖數據庫是一種使用圖結構(節點、邊和屬性)進行數據存儲和查詢的數據庫管理系統。與傳統的關系型數據庫不同,圖數據庫專注于實體之間的關系,特別適合處理高度互聯的數據。常見的圖數據庫包括&#…

本地數據庫有數據,web頁面無信息顯示,可能是pymysql的版本問題【pymysql連接本地數據庫新舊版本的區別】

pymysql連接本地數據庫新舊版本的區別新版本老版本python web下的settings文件 新版本 的pymysql 連接本地數據庫: mysql_conn pymysql.connect(hostself.conn_infos["HOST"],userself.conn_infos["USER"],passwordself.conn_infos["PAS…

【Linux-云原生-筆記】Haproxy相關

一、概念HAProxy(High Availability Proxy)是一款開源的高性能 TCP/HTTP 負載均衡器 和 反向代理 軟件,被廣泛應用于構建高可用、高并發的現代網絡架構。核心功能:負載均衡(Load Balancing)支持四層&#x…

智慧能源合同解決方案

01 能源行業合同管理核心痛點 1)長期風險沉淀與動態環境失配:合同穩定性的根本矛盾 超長周期下的風險累積:20~30年的購售電協議(PPA)、EPC合同需覆蓋技術迭代(如光伏組件衰減率)、政策轉向&am…

MeterSphere平臺,接口自動化腳本編寫常用操作

文章目錄1. 前置準備2. 項目環境設置3. 創建接口3.1 創建接口API3.2 測試接口API3.3 設置接口case4. 場景接口自動化4.1 創建自動化場景4.2 場景化操作說明4.2.1 設置腳本場景變量4.2.2 接口列表導入4.2.3 場景導入4.2.4 自定義請求4.2.5 事務控制器4.2.6 等待控制器4.2.7 循環…

C 語言介紹

C語言是由Dennis Ritchie開發的,用于創建與硬件設備(例如驅動程序,內核等)直接交互的系統應用程序。C編程被認為是其他編程語言的基礎,這就是為什么它被稱為母語。C是一種功能強大的通用編程語言。它可以用于開發操作系…

AI產品經理面試寶典第48天:產品設計與用戶體驗優化策略

1. 用戶體驗分析與產品設計邏輯 1.1 問:如何通過用戶反饋優化AI產品體驗? 答: 建立反饋閉環機制:通過應用內評分、用戶訪談、行為埋點三維度收集數據,例如某語音助手產品通過NLP分析用戶糾錯語句,發現"誤喚醒"問題占比37%; 優先級排序模型:采用Kano模型量化…

基于springboot的在線教育系統(源碼+論文)

一、開發環境 本在線教育系統主要采用以下技術棧進行開發: B/S結構:基于瀏覽器/服務器模式,便于用戶通過互聯網訪問系統,無需安裝客戶端軟件。Spring Boot框架:簡化了新Spring應用的初始搭建及開發過程,提…

Ubuntu 系統上部署禪道

在 Ubuntu 系統上部署禪道可以按照以下步驟進行,以下是基于禪道開源版的部署流程: 1. 安裝必要依賴 首先安裝禪道運行所需的環境(以 Ubuntu 20.04/22.04 為例): bash # 更新系統包 sudo apt update && sudo…

【vue-8】Vue3 Options API 生命周期函數全面解析

在 Vue.js 開發中,理解組件的生命周期是構建健壯應用程序的關鍵。雖然 Vue3 引入了 Composition API,但 Options API 仍然是許多開發者的首選,特別是對于從 Vue2 遷移的項目或更喜歡基于選項的代碼組織的團隊。本文將深入探討 Vue3 中 Option…

周志華《機器學習導論》第8章 集成學習 Ensemble Learning

目錄 8.1 個體與集成 8.2 Boosting Ada(Adaptive)Boost 8.3 Bagging 8.4 隨機森林 8.5 結合策略 8.5.1 平均法 8.5.2 投票法 8.5.3 學習法 8.6 多樣性 8.6.1 誤差-分歧分解 error-ambiguity 8.6.2 多樣性度量 8.6.3 多樣性增強 8.1 個體與集…

Embassy實戰:Rust嵌入式異步開發指南

嵌入式異步框架 Embassy 實例 以下是關于嵌入式異步框架 Embassy 的實用示例,涵蓋常見外設操作、多任務協作和硬件交互場景。示例基于STM32和Raspberry Pi Pico等平臺,使用Rust語言編寫。 GPIO 控制 use embassy_stm32::gpio::{Input, Output, Pull, Speed}; use embassy_…