從腦電圖和大腦記錄中學習穩健的深度視覺表征 印度，印度，印度，印度大腦實驗室，印度 例如，達拉普，克普拉薩德，山，山，新的。ac .在 摘要 解碼人類大腦一直是新機器人科學家和人工智能研 究人員的一個標志。腦腦電圖（EEG）信號的視覺圖像 重構因其在腦機接口中的應用而引起了人們的廣泛關 注。本研究提出了一種兩階段的方法，第一步是獲得 腦電圖衍生的特征，用于深度抑制器的魯棒學習，然 后利用學習到的表示進行圖像生成和分類。我們使用 帶有監督和對比學習方法的深度學習架構，演示了我 們的特征提取管道在三個不同的數據集上的通用性。 我們進行了零鏡頭腦電圖分類任務，以進一步支持可 推廣性主張。我們觀察到，在一個單模態設置中，單 獨使用腦電圖數據學習了一個子對象不變的線性可分 離的視覺表示，與腦電圖和圖像之間的聯合代表表達 學習相比，它具有更好的k-均值精度。最后，我們提 出了一種新的框架，將看不見的圖像轉換到腦電圖空 間，并近似地進行重建，展示了從腦電圖信號重建圖 像的潛力。我們提出的腦電圖圖像合成方法顯示了 62。9%和36歲。EEGCVPR40和Thoightviz數據集的初始 分數提高了13%，優于GAN 1中最先進的性能。 1. 介紹 腦-機接口（BCI）領域已經見證了人們的興趣和研 究的激增，因為它有潛力徹底改變通過人類認知來控 制機器的方式。我們有希望利用[9,10,27]對人類大腦 活動的理解來改變人機交互的各個領域。在此背景 下，腦電圖（EEG）已成為記錄腦ac-的關鍵方法 *這項工作得到了總理研究獎學金（PMRF- 2122-2557）和人工智 能領域的Jibaben Patel主席的支持。 1github.com/prajwalsingh/EEGStyleGAN-ADA 蘋果汽車狗金移動玫瑰滑板車老虎錢包手表 圖1：腦電圖到圖像。使用EEGStyleGAN-ADA生成的腦 電圖信號的樣本圖像，每個圖像由不同類別的不同腦 電圖信號生成，思想數據集[22,41]。 并已獲得了科學界[13]的廣泛關注。腦電圖作為一種 非侵入性技術提供了幾個優勢，提供了關于大腦活動 的密集的時間信息。它的實際應用涉及廣泛的領域， 包括識別手部運動[44]，神經康復[1]，甚至從大腦信 號[5]中解碼語音。值得注意的是，從腦電圖信號中提 取視覺信息一直是BCI領域[4,28,37,43]的長期研究重 點。從腦電圖信號中提取視覺信息的方法的最新進展 為令人興奮的可能性鋪平了道路，例如使用學習到的 腦電圖表示[15,39,40,41]來合成圖像。然而，這一領 域的現有方法在合成圖像的質量和依賴標簽監督方面 遇到了限制。 我們提出的工作解決了這些局限性，并顯著地推進 了基于腦電圖的圖像合成。 1. 我們引入了一個EEGStyleGAN-ADA框架，它通過利 用在對比設置中學習到的腦電圖表示來改進來自 腦電圖信號的圖像合成。這種方法生成了更高質 量的圖像，克服了以前的方法的缺點，并提高了 最先進的（SOTA）FID分數62分。9%和36歲。在 EEGCVPR40 [39]和[39]數據集[22,41]上13%。 2. 我們調查了使用一個類似的研究方法的影響 a r Xiv :2 310 .16 5 3 2 v1 [ c s .簡 歷]2 0 2 3 年10 月 2 5 日熊貓 雛菊 獨木舟 鐵質濃縮咖啡機制作的南瓜燈高爾夫球 披薩敞篷車反射相機香蕉數字手表飛機機車降落傘海葵魚卷尾猴蘇雷爾馬無線電望遠鏡 圖2：腦電圖到圖像。使用EEGStyleGAN-ADA生成的腦電圖信號，每個圖像由不同類別的不同腦電圖信號生成， EEGCVPR40數據集[39]。 用于所有腦電圖數據集的特征提取，從而減少了 在建模架構時對數據分布性質的明顯依賴。 3. 為了展示從所提出的腦電圖特征提取框架中獲得 的表示的適應性，我們提出了涉及零鏡頭分類性 能和一種新的圖像到圖像轉換方法，旨在直接從 腦電圖空間重建以前看不見的圖像。 4. 我們的工作進一步提出了一個創新的聯合表示學 習框架，它連接了兩種不同的模式，即腦電圖和 圖像，從現有的對比語言-圖像預訓練（CLIP）方 法[32]中獲得靈感。通過融合腦電圖信號和視覺 線索，我們的目標是制作一個豐富和全面的表 征，旨在放大一系列任務的表現，特別是圖像分 類和檢索。 我們還進行了幾個實驗和消融研究，探索在不同架 構中使用監督和基于度量學習的方法的腦電圖特征提 取。這種嚴格的評估使我們能夠評估我們提出的方法 的有效性，并闡明基于腦電圖的表征學習的潛在機 制。我們的工作解決了基于腦eg的圖像合成和表示學 習任務中面臨的挑戰，并提供了新的框架和實驗見 解。通過提高合成圖像的質量，實現聯合表示學習， 為基于腦電圖的圖像重建創建新的框架，并進行綜合 評估，我們的目標是突破利用腦電圖信號進行視覺任 務的可能邊界。 2. 相關工程 在過去的十年里，基于深度學習的方法使得從腦電 圖、圖像或文本等復雜數據中學習表示成為可能。 [39]公司的初步工作 提出了一個EEGCVPR40 [39]數據集和一個基于LSTM的 腦電圖分類網絡用于特征學習。在此之后，卡瓦西迪 斯和Palazzo等人的工作。[19,31]使用了一個生成對 抗網絡（GAN）[8]，從使用[39]提出的基于LSTM的網 絡學習到的腦電圖特征中合成圖像。與GAN一起，卡瓦 西迪斯等人[19]還使用了變分自動編碼器（VAE）[21] 從腦電圖信號中合成圖像。他們的工作得出結論，基 于gan的方法在合成逼真圖像方面優于VAE。[41]等人 提出了一個從小規模數據集[22]中學習的GAN網絡。他 們在網絡中添加了一個可訓練的高斯層，用來學習腦 電圖特征的平均μ和方差σ，防止了鑒別器網絡的過 擬合。Mishra等人[24]的工作使用基于注意力的GAN網 絡和可訓練的高斯層來從小尺寸腦電圖數據集[22]合 成圖像。兩種工作都使用預先訓練的圖像分類網絡在 GAN中訓練生成器。相比之下，辛格等人的研究成果。 [38]使用了一種基于度量學習的方法來提取特征腦電 圖，并修改了GAN訓練策略，以使用可微數據增強（ DiffAug） 克服小尺寸腦電圖數據集問題的[46]方法。這也降低 了網絡的復雜性，即在高斯層中不需要訓練可訓練的 生成器和預先訓練的圖像編碼器。 3. 方法 本研究旨在通過解決三個問題來解決腦電到圖像重 建問題： 1)從腦電數據中提取視覺信息的不同策略是 什么？2)我們能否從提取的腦電圖特征中重建具有豐 富信息的圖像？3)如何聯合訓練腦電圖-圖像模型，以 完成基于腦電圖的圖像檢索等任務？為了解決這些問 題 ， 我 們 在 三 個 不 同 的 數 據 集 EEGCVPR40 [39]、[ 22,41][22,41]和Object [17]上進行了不同架構的實 驗和消融研究腦電圖描記器 腦電圖特征 激光掃描跟蹤法 激光掃描跟蹤法 激光掃描跟蹤法 激光掃描跟蹤法 (a) 腦電圖描記器 腦電圖特征 中心體 (b) 判別器 ADA 生成器 腦電圖特征 噪音 假 的 真 的 真實/假 P (c) 重 構 圖 像 生 成 器 腦電圖特征噪聲 圖 像 編 碼 器 輸 入 圖 像 腦電圖特征空間 (d) 圖3： (a)和(b)顯示了用于腦電圖信號提取128D特征的LSTM和CNN架構。(c) StyleGANADA [18]架構與修改的條件 反射。(d)說明了將看不見的圖像轉換為學習到的腦電圖空間的框架，然后利用預先訓練好的生成器網絡從腦電圖 特征中重建圖像。 損失函數。 3.1. 腦電圖數據的特征提取 從腦電圖數據中提取特征是解決腦電圖圖像的分 類、重建或合成等問題的重要步驟。由于特征提取的 重要性，過去已經采用了幾種有監督或自監督的方 法。以下工作是[39,40,48,15,20,47]，使用監督分類 方法進行特征提取。如果測試數據分布與訓練數據分 布重疊，則最好采用監督分類方法，而這與腦電圖數 據集的情況并非總是如此。這個問題可以通過基于自 監督/度量的學習來克服，并在這些工作[14,26,23, 38]中得到了解決。在[14,26]中，使用預先訓練的圖 像編碼器從圖像中提取特征，訓練腦電圖編碼器使用 回歸和kl-散度[16]學習圖像的特征分布。工作[23, 38]使用基于度量學習的方法進行特征學習，其中使用 三重損失[36]來訓練腦電圖編碼器。 min θ E ||fθ(x a ) ? fθ(x p )|| 2 2 ? ||fθ(x a ) ? fθ(x n )|| 2 2 + δ (1) 其中fθ是我們的編碼器，xi∈RN×C是N個時間步長 和C通道的腦電圖輸入。在這項工作中，我們還使用三 聯體損失進行半硬三聯體的特征學習。半硬三聯體阻 止了編碼器網絡對所有數據生成相似的表示，并加強 了對鑒別特征的學習。在等式中1、xa為錨點，xp為陽 性樣本，xn為陰性樣本。δ是陽性樣本和陰性樣本之 間的邊緣距離。半硬三胞胎具有以下屬性： ||fθ（ xa）- fθ（xp）|| < ||fθ（xa）- fθ（xn）|| 腦電圖描記器 腦電圖特征 圖像 預先訓練的 ResNet50 LSTM LSTM .. .. 圖像特征 圖4：EEGClip。說明了基于[32]的腦電圖和圖像聯合 表示學習的體系結構。 3.2. 從腦電圖特征生成圖像 卡瓦西迪斯和Palazzo等人的第一項工作使用基于 gan的方法利用腦電圖特征合成圖像。隨后，[20,48, 7]提出修改GAN體系結構，以提高圖像合成質量。近年 來，GAN圖像合成已經達到了逼真圖像的極限，與真實 圖像[18,35]難以區別。在此基礎上，我們提出了一個 利用StyleGANADA網絡[18]從腦電圖特征中合成圖像的 框架。如圖3所示，以等向高斯分布采樣的特征向量和 噪聲作為輸入，合成所需圖像。StyleGAN-ADA [18]使 用自適應鑒別器增強，通過增強訓練時增強真實圖 像，幫助鑒別器在有限的數據下學習。 3.3. 腦電圖和圖像的聯合空間學習 到目前為止，研究工作是使用不同的網絡學習腦電 圖和圖像表示空間0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 1 2 3 4 5 6 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 0 1 2 3 4 5 6 7 8 9 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 (a) EEGCVPR40數據集[40] 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 0 1 2 3 4 5 (b) 對象數據集[17] 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 0 1 2 3 4 5 6 7 8 9 (c) 盡管Viz數據集[22,41] 圖5：圖顯示了使用LSTM（上）和CNN（下）架構學習的腦EE圖聚類。K-均數得分為(a) 0.96,0.98 (b) 0.41,0.35 (c) 0.72,0.12。結果表明，隨著腦電圖信號時間步長的減小，CNN的性能也在下降。我們在所有實驗中保持了 LSTM和CNN架構的不變，以顯示架構的通用性，而之前根據數據集定制架構的方法并非如此。 有監督和自我監督的方法。腦電圖信號和圖像的形態 完全不同，這使得學習聯合表示成為一項重要的任 務。腦電圖和腦電圖像之間的聯合表示學習問題很 少。工作[40,14,26]使用預先訓練的圖像編碼器生成 與腦電信號等價的圖像表示，并訓練腦電編碼器網絡 回歸圖像特征向量。在Palazzo等人[30]的工作中，他 們在一個具有三重損失的對比環境中訓練腦電圖編碼 器，而不是回歸圖像特征向量。本工作利用基于CLIP [32]的方法進行腦電圖和圖像數據的聯合表示學習。 我們使用預先訓練好的ResNet50 [11]作為圖像編碼 器，并使用多層LSTM網絡作為腦電圖特征編碼器。在 訓練過程中，我們凍結了ResNet50的權值，并且只更 新了LSTM網絡的權值。我們使用了基于clip的損失來 訓練完整的管道。如圖4所示，每個腦電圖圖像對作為 正樣本（對角線元素），其余作為負樣本（非對角線 元素）。與我們的[45]類似，他們使用CLIP [32]進行 聯合表示學習，但他們的問題陳述與我們的不同，他 們的目標是通過訓練GAN來學習圖像編碼的表示，然后 使用對比方法訓練腦電圖編碼器進行基于腦電圖的圖 像檢索。我們使用了一個預先訓練好的圖像編碼器來 進行基于腦電圖的圖像檢索任務。 4. 實驗和結果 在本節的第一部分中，我們將討論用于訓練和測試 的所有數據集。在第二部分中，我們解釋了所有用于 腦電圖特征學習和StyleGAN-ADA [18]的訓練機制以及 消融研究的訓練機制。本節的后一部分討論了聯合空 間表示學習腦電圖-圖像CLIP [32]模型。 4.1. 數據集 我們使用了三個數據集來訓練和測試腦電圖表示學 習。 EEGCVPR40 數 據 集 [39]。 該 數 據 集 由 40 個 類 的 EEGImage對組成，這是ImageNet [6]數據集的一個子 集。在記錄大腦活動腦電圖信號時，參與者獲得50張 圖像，持續0.5秒。腦電設備由128個通道組成，經過 預處理后，每個腦電信號的長度為440個時間步長。在 丟棄壞樣本后，最終的數據集中約有11800對腦電圖圖像對。 想一下，數據集[22,41]。這是一個由Kumar等人 [22]策劃的小規模數據集。它由10個不同的對象類組 成，它是ImageNet [6]的一個子集。為了收集數據 集，每個參與者都被要求可視化這10個不同的類中的 一個。該腦電圖裝置有14個通道，共記錄了23名參與 者的大腦活動。經過預處理后，每個腦電圖信號變成 32個時間步長。在這項工作中，我們給它一個別名0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 狗 貓 魚 C anoe G olf Pool 圖6：看不見的腦電圖聚類。顯示了6個未可見的類別 特征的t-SNE圖，k-平均精度為0.62。該方法還顯示了 腦電圖特征的零鏡頭分類的通用性。 方法 SVM kNN K-Means Cogni-網[26] 0.78 0.725 - Eeglstm（ 我 們 的） 0.93 0.86 0.625 表1：看不見的腦電圖。顯示了使用三損失訓練時網絡 的特征泛化能力。在這種情況下，該網絡在34個類上 進行了訓練，并測試了EEGCVPR40[40]數據集的6個不 可見的類。 因為它最初是由蒂魯帕圖等人[41]用于腦電圖的圖像 合成工作，并避免與其他對象[17]數據集混淆。 對象數據集[17]。該數據集由6類組成，每個類有12 張圖像，顯示給10名參與者，并使用128通道設備記錄 腦電圖信號。這6個類包括人體（HB）、人臉（HF）、 動物身體（AB）、動物臉（AF）、水果蔬菜（FV）和 無生命物體（IO）。經過預處理后，最終的腦電圖數 據大小為124×32。 4.2. 提取腦電圖特征 監督我們首先使用監督設置訓練特征提取網絡，如 果網絡做出錯誤的預測，我們使用與每個信號相關的 標簽來懲罰網絡。我們使用了兩種不同的架構，如圖 3（a，b）所示。我們通過標簽監督為所有三個數據集 訓練CNN和LSTM網絡。我們觀察到，在監督下訓練的網 絡具有很低的k-means精確度，這表明除了在EEGCVPR 40 [39]數據集上訓練的CNN網絡外，學習到的特征不 是線性可分的。 三聯體損失。在這種情況下，我們對所有三個數據 集使用三重損失[36]來訓練如圖3（a，b）所示的LSTM 和CNN網絡。使用三重損失的訓練網絡有助于它們學習 鑒別特征，從而獲得更好的kmeans精度，如表2所示。 我們還展示了所有三種方法的學習表示的t-SNE [42] 圖 數據集 方法 精度 K-Means SVM EEGCVPR40 [39] LSTM 編 碼 器 [40] DML [14] LSTMCNN [48] BioLSTM [15]神經 視覺[20]眼鏡（我 們的） 0.829 0.977 0.944 0.991 0.988 0.983 0.45 - - - - 0.961 0.47 - - - - 0.962 對象[17] BioLSTM [15] ERP-LSTM [47] Eeglstm（ 我 們 的） 0.611 0.66 0.41 - - 0.40 - - 0.401 ThoughtViz [22, 41] ThoughtViz [41] SiameseCNN [23] EEG2Image [38] Eeglstm（ 我 們 的） 0.729 0.899 0.55 0.741 0.18 - 0.52 0.721 0.19 - - 0.724 表2：聚類和線性評價。比較了不同數據集的腦電圖信 號特征提取的不同方法和損失類型。在某些情況下， 基于三重損失的方法優于經過標簽監督訓練的網絡。 圖5中的數據集使用LSTM和CNN網絡。我們進一步細化 了所有三個數據集上的網絡，并報告了與其他方法進 行比較的準確性。值得注意的是，為了在腦電圖特征 提取任務中顯示泛化，類似于使用ResNet50 [11]在不 同的數據集和應用中進行圖像特征提取，我們在所有 的腦電圖數據集上使用了相同的LSTM/CNN體系結構。 這就解釋了在某些數據集中的微調精度較低的原因。 進一步支持 對于相同訓練機制下的EEGCVPR40 [39]數據集，CNN的 k-means準確率為98%，LSTM架構的準確率為96%。 看不見的數據。為了顯示我們在不可見的類中使用 三聯體損失的學習表示的通用性，我們將我們的方法 與[26]進行了比較。在這種情況下，該網絡在來自 EEGCVPR40 [39]數據集的34個類上進行訓練，并在其 余6個類上進行測試，分別是狗、貓、魚、獨木舟、高 爾夫球和游泳池。與[26]相比，不需要預先訓練好的 圖像網絡。如表1所示，我們的方法表現更好，更高的 SVM [12]和kNN [25]評分更高。我們還展示了所有6個 未看到的類學習特征的t-SNE [42]圖，圖6。 圖像到圖像。為了研究特征泛化的效果，我們進行 了另一個實驗，將視覺圖像特征映射到學習到的腦電 圖流形中。我們利用三重態損失學習了腦電圖特征空 間。映射視覺特征的概念源于這樣一個概念，即這些 映射的特征可以模擬在人類場景理解[39]的過程中所 涉及的神經過程。然后，利用這些轉換后的圖像特 征，使用EEGStyleGAN-ADA進行圖像合成，以顯示所提 網絡的泛化能力。圖像合成的定性結果如圖7所示。由 不可見圖像生成的腦電圖特征可以高保真度地重建圖 像。方法 是↑ FID ↓ 兒 童 ↓ E E G C V P R40 Brain2Image-VAE [19] Brain2Image-GAN [ 31, 19] NeuroVision [20] 改進-SNGAN[48]DCLSGAN[7] EEGStyleGAN-ADA（ 我 們的） 4.49 5.07 5.15 5.53 6.64 10.82 - - - - - 174.13 - - - - - 0.065 盡 管Viz AC-GAN [29] ThoughtViz [41] NeuroGAN [24] EEG2Image [38] EEGStyleGAN-ADA（ 我 們的） 4.93 5.43 6.02 6.78 9.23 - - - - 109.49 - - - - 0.039 表3：EEGCVPR40[39]和想象Viz數據集[22,41]的初始 評分（所有類別）的比較。對于EEGStyleGAN-ADA，我 們還計算了Frechet起始距離（FID）和內核起始距 離（KID）。 4.3. 圖像合成 基于腦電圖的條件反射。通過訓練最先進的生成模 型StyleGANADA [18]，我們顯著改善了腦電圖的圖像 生成。為了專門針對腦電圖數據，我們對現有的 StyleGAN-ADA管道進行了修改，得到了一個我們命名 為EEGStyleGAN-ADA的框架（圖3(c)）。我們的方法結 合了一個預先訓練好的LSTM網絡來提取腦電圖特征， 并與從各向同性高斯分布中采樣的噪聲向量相連接。 然后將這個組合輸入輸入到EEGStyleGAN-ADA網絡中進 行圖像合成。為了訓練網絡，我們使用了“cifar”超 參數，利用了來自EEGCVPR40 [39]和?Viz[22,41]數據 集的數據。如圖[1,11]所示，由我們提出的框架生成 的合成圖像，與以前的方法相比，表現出了多樣性， 并保持了較高的保真度。 為了定量評估我們的方法的性能，我們使用了初始 評分[34]，這是生成模型中常用的度量標準。與現有 腦電圖與圖像合成網絡的比較分析，如表3所示，顯示 我們提出的方法在初始得分方面優于它們。此外，我 們報告了弗雷切特初始距離（FID）[3]和內核初始距 離（KID）[2]分數，為生成的圖像的質量和多樣性提 供了更多的見解。 基于類的調節。為了證明所提出的EEGStyleGAN-AADA的有效性，我們進行了一項消融研究，我們沒有提 供腦電圖信號，而是只使用了一個熱類條件。EEGCVPR 40 [39]數據集由40個類組成，每個類都有30-40張圖 像，這使得使用條件GAN很難學習。為了進一步驗證這 一說法，我們使用目前最先進的NoisyTwins [33]進行 了長尾條件生成的實驗。如圖所示。9，最好的FID分 數，我們 輸入重構輸入重構輸入重構輸入重構 圖7：圖像到圖像。顯示圖像到圖像轉換的結果。在這 里，不使用來自EEGCVPR40 [39]數據集的腦電圖信 號，而是使用其等效圖像，并將其轉換為腦電圖表示 空間，然后使用預先訓練的生成網絡對圖像進行近似 重建。 達到的是105個。5，定性結果表明，即使使用SOTA模 型對EEGCVPR數據集進行單熱類條件反射進行圖像合 成，也缺乏逼真的效果。這意味著我們用所提出的 EEGStyleGAN-ADA合成的逼真圖像是所有基于腦電圖的 腦電圖圖像生成方法中最好的。 4.4. 聯合表示空間學習 我們工作的這一部分提出了EEGClip，一個新的框 架，用于基于CLIP模型[32]的EE圖信號和圖像之間的 聯合表示學習。為了評估我們的方法的有效性，我們 使用EEGCVPR40數據集[39]進行了實驗，與想象的[ 22,41]和對象[17]數據集相比，該數據集提供了顯著 更多的（EEG、圖像）對。我們進行了幾個實驗來研究 批處理大小和訓練期數對學習聯合表示的影響。由于 計算約束，我們考慮了16、3、2、64，并對不同時期 的 模 型 進 行 訓 練 ， 從 64、128、256、512、1024、 2048。這些實驗的結果，如表4所示，給出了K∈{ 1,5,10}的最高K召回率。我們的研究結果表明，所提 出的EEGClip框架在64個和2048個時期的批量訓練時取 得了優越的性能。這種配置對不同的k值產生了最高的 召回率微調頂部的精度 批次大小\Epochs 64 128 256 512 1024 2048 16 0.26/0.45/0.60 0.37/0.59/0.71 0.51/0.75/0.81 0.59/0.80/0.85 0.69/0.88/0.92 0.73/0.90/0.93 EEG 32 0.32/0.53/0.68 0.43/0.68/0.79 0.53/0.80/0.87 0.61/0.87/0.90 0.72/0.92/0.95 0.77/0.94/0.96 64 0.34/0.54/0.69 0.44/0.67/0.82 0.57/0.80/0.85 0.68/0.89/0.93 0.76/0.94/0.97 0.79/0.96/0.98 16 0.78/0.88/0.91 0.83/0.90/0.92 0.87/0.93/0.95 0.89/0.96/0.98 0.91/0.97/0.98 0.92/0.97/0.99 圖32 0.80/0.91/0.94 0.84/0.92/0.95 0.90/0.96/0.98 0.92/0.97/0.99 0.92/0.96/0.98 0.93/0.96/0.99 64 0.84/0.94/0.95 0.88/0.95/0.98 0.91/0.97/0.98 0.93/0.98/0.99 0.94/0.97/0.99 0.95/0.99/1.0 表4：EEGClip。在EEGCVPR40 [39]數據集上對EEGClip網絡進行腦電圖和圖像分類的細化結果。 真實值 前5名檢索圖像 圖8：使用腦電圖檢索圖像。顯示了從EEGCVPR40[39] 的測試數據中檢索到的給定腦電圖信號的前5個圖像。 利用預先訓練好的EEGClip的權值來提取圖像和腦電圖 的特征，在這里，地面真實表示與給定的腦電圖相等 的期望圖像。 我們在圖8中給出了腦電圖的圖像檢索結果。這些結果 表明，我們的框架能夠基于腦電圖輸入準確地檢索相 關圖像。 4.5. 在EEGCVPR40濾波器數據集上的實驗(5 - 95 薄霧 根據第4.4節，對于EEGClip，當使用批處理大小為 64時，可以獲得最佳性能。因此，我們在EEGCVPR40濾 波器數據集（5-95 Hz）[39]上進行實驗時，采用了相 同的批處理大小。我們將我們的方法與Palazzo等人的 [30]進行了比較，他們在相同的濾波器數據集上進行 了實驗，達到了60的精度。腦電圖分類為4%，圖像分 類94%。我們表現最好的模型，對應于批大小 64和2048個時期（如表5所示），腦電圖分類準確率為 64%，圖像分類準確率為94%。 4.6. 圖像檢索任務的定量性能 我們采用基于腦電圖輸入的EEGClip模型（圖4）進 行圖像檢索任務。從我們的實驗中得到的結果已在本 文中提出。然而，為了提供一個更全面的結果分析， 我們使用了兩個特定的指標：平均倒數排名（MRR）和 平均平均精度（mAP）來進行排名評估。MRR度量評估 了檢索模型在對唯一的視覺線索實例進行準確排序方 面的有效性，而mAP度量則評估檢索模型捕獲所有相關 視覺線索的能力。這些相關的視覺線索對應于與正確 匹配屬于同一語義類的圖像。對于EEGCVPR40 [39]數 據 集 ， 我 們 的 方 法 得 到 的 MRR 為 0.7427，mAP 為 0.6689。這些分數是通過與64個批大小相關的模型獲 得的，并訓練了2048個時代。 5. 討論 本文針對腦電圖到圖像的重建問題，提出了一種從 腦電圖數據中提取視覺信息，利用提取的腦電圖特征 合成圖像，并聯合訓練腦電圖模型用于基于腦電圖的 圖像檢索等任務。我們在三個不同的數據集上進行了 實 驗 和 消 融 研 究 ： EEGCVPR40 [39]、ThoightViz[ 22,41]和Objiect[17]，使用不同的結構和損耗函數。 我們首先討論了從腦電圖數據中提取特征的不同策 略，包括監督方法和自監督方法。我們將監督分類方 法與基于自監督/度量的學習方法進行了比較，發現后 者產生了更具鑒別性和可推廣性的特征，特別是使用 三重損失。我們通過改進的k-means精度、t-SNE可視 化和零鏡頭分類來證明了同樣的情況。 接下來，我們探索了使用GAN框架從腦電圖特征中生 成圖像。為此，我們提出微調頂部的精度 批次大小\Epochs 64 128 256 512 1024 2048 腦電圖描記器 64 0.28/0.39/0.48 0.37/0.53/0.69 0.45/0.66/0.81 0.53/0.77/0.86 0.59/0.82/0.89 0.64/0.86/0.92 圖64 0.78/0.88/0.92 0.83/0.92/0.95 0.87/0.94/0.97 0.90/0.95/0.98 0.92/0.96/0.99 0.94/0.98/0.99 表5：EEGClip。在EEGCVPR40濾波器數據集（5-95 Hz）[39]上細化EEGClip網絡進行腦電圖和圖像分類的結果。 圖9：基于類的條件處理。目的：展示了利用EEGCVPR 40 [39]數據集的腦電圖生成圖像的復雜性。我們訓練 了一種被稱為NoisyTwins [33]的StyleGAN2的變體， 用于學習在長尾條件數據集或具有較少圖像的條件數 據集上的圖像生成，這是EEGCVPR40數據集的情況。我 們沒有使用腦電圖，而是使用了單熱編碼來進行條件 反射。在類標簽條件下，我們取得的最佳FID分數是 105.5分。 EEGStyleGAN-ADA，它結合腦電圖特征和噪聲向量來合 成不同的高保真圖像。我們的方法優于以前的腦e圖到 圖像合成網絡，有62個。9%和36歲。對EEGCVPR40 [39]數據集和[22,41][22,41]數據集的初始分數提高 了13%，這優于使用GAN的最先進的性能。我們已經證 明，在基于類的條件反射4.3的幫助下，實現逼真的效 果并不是很簡單的。 此外，我們還研究了EEG腦電圖和圖像的聯合表示空 間學習 構架我們通過凍結一個預先訓練過的圖像編碼器的權 值和使用基于clip的損失訓練一個腦電圖特征編碼 器，在聯合表示學習方面取得了顯著的改進。在檢查 了批大小和歷元數的影響后，我們觀察到批大小的增 加與性能的增強之間存在直接相關性，在64和2048個 批次大小時達到峰值，腦電圖和圖像的top@1得分分別 為79%和95%。然而，將歷元計數延長到這一點之后并 沒有顯示出明顯的改善。EEGClip已經顯示了5個。比 以前的最先進的聯合表示學習方法提高了96%。 限制。擬議的工作有一些局限性。 1) 雖然我們在所有數據集上使用了相同的結構進行腦 電圖特征提取的方法，但使用單一結構實現SOTA性能 仍然是一個有待解決的問題。2)在基于腦電圖的圖像 合成中，我們優于以往的方法。盡管如此，在有限的 數據集條件下，可以通過更好的GAN訓練策略提高圖像 的圖像質量，我們可以進一步利用其用于基于腦電圖 的圖像重建。 6. 結論 在本研究中，我們的主要目的是提高腦電圖信號的 圖 像 合 成 質 量 。 為 了 實 現 這 一 點 ， 我 們 引 入 了 EEGStyleGAN-ADA，這是一個框架，能夠利用小型和大 型腦電圖數據集直接從腦電圖信號生成高分辨率圖 像（128×128128），性能優于以前的先進技術。 除了圖像合成外，我們還提出了一個聯合表示學習 框架，以彌合腦電圖和圖像表示之間的差距。通過結 合這兩種模式的力量，我們獲得了更豐富、更全面的 表示，使我們能夠使用腦電圖信號來執行圖像檢索任 務。我們詳盡的實驗證實了這種聯合表示學習方法的 有效性，并展示了它在現實應用中的潛力。此外，我 們還展示了基于三重損失的特征提取方法的零鏡頭分 類能力。 我們未來的努力將進一步改進基于腦電圖的圖像合 成，探索新的技術，并完善現有的框架。此外，我們 的目標是擴大我們的調查，包括基于腦電圖的視頻分 析的新興領域，利用時間動態來生成和分析視覺內 容。