1 語義通信簡介

語義通信（Semantic Communication）是一種新興的通信范式，源自 Shannon-Weaver 的通信模型擴展，旨在突破傳統通信系統僅關注“比特級準確傳輸”的限制，更關注傳輸內容的意義和意圖的還原。隨著大語言模型（如ChatGPT、GPT-4、GLM、BERT等）的發展，語義通信正逐步從理論研究走向可實現的智能通信系統。

1.1 基本概念：什么是語義通信？

語義通信是一種面向語義信息傳輸的新型通信范式，不再僅關注“比特級無差錯傳輸”，而是更關注傳輸內容的意義是否被正確理解。
傳統通信系統（如香農通信模型）致力于最大限度地減少比特誤碼率（BER），并不關心這些比特代表什么。但在語義通信中，關注的是：

“信息的含義是否被接收端成功理解和還原”，而不是“每一個比特是否被準確傳輸”。

語義通信的核心目標

• 減少語義信息損失
• 降低通信冗余
• 提高通信效率與智能性
• 服務于人類意圖的達成，而不僅是數據還原

1.2 基本結構：語義通信系統結構

語義通信系統的通用結構組成

• 語義編碼器：提取文本、語音或圖像中高維語義特征；
• 信道編碼器：將語義嵌入轉化為可調制符號；
• 物理信道：可為無線、有線、衛星等信道；
• 信道解碼器 + 語義解碼器：恢復語義并生成目標形式（圖像/文本等）；
• 語義知識庫：輔助背景知識理解與補全。

1）語義編碼器：從原始數據中提取語義信息，并將這些特征編碼成語義特征，從而理解數據的含義，并從語義層面縮小傳輸信息的規模。
2）信道編碼器：對語義特征進行編碼和調制，以消除信道干擾，提高魯棒性，從而確保數據在物理信道上進行傳輸。
3）信道解碼器：對接收到的信號進行解調和解碼，目標是獲取傳輸的語義特征。
4）語義解碼器：旨在理解接收到的語義特征，并推斷語義信息，從語義層面恢復原始數據。
5）知識庫：SC的知識庫（KB）可以看作是一個通用的知識模型，用以幫助語義編碼器和解碼器有效地理解和推斷語義信息。

語義通信系統的結構關鍵模塊

📡 1. 語義編碼器（Semantic Encoder）

• 負責從原始輸入（文本、圖像、語音）中提取語義特征
• 可借助深度學習模型進行特征嵌入，如 Transformer、BERT

🛰? 2. 通信信道（Physical Channel）

• 傳輸語義嵌入向量（或壓縮特征）
• 可采用無線通信、光通信、衛星或互聯網等物理層傳輸技術

🎧 3. 語義解碼器（Semantic Decoder）

• 接收端從傳輸的嵌入中重建具有等效語義的輸出
• 解碼過程中允許內容“變形”或“簡化”，但必須保持語義一致

🔁 可選模塊：知識庫/世界模型

• 使用共享知識庫或大模型實現背景知識對齊
• 提升解碼語義一致性，尤其在存在上下文和意圖時更為關鍵

語義通信的基本流程可以分為 六個核心環節，它和傳統通信的最大不同在于，它不僅傳輸比特，還要理解、壓縮和恢復信息的意義。
1. 場景與語義建模

• 目的：提取信息背后的語義特征，而不僅是信號本身。

• 方法：

  • 利用自然語言處理（NLP）、計算機視覺（CV）或多模態模型，生成待傳輸內容的語義表示向量。
  • 對任務目標（如圖像識別、語音翻譯）進行建模。

• 類比：不是傳輸每個字母，而是傳輸“說了什么、想表達什么”。

2. 語義編碼（Semantic Encoding）

• 功能：把抽取出的語義信息映射到一個緊湊的編碼空間。

• 實現：

  • 使用深度神經網絡（如Transformer、Graph Neural Network）將語義特征壓縮成低維表示。
  • 盡量去掉對任務無關的信息。

• 優點：減少冗余，節省帶寬。

3. 信道編碼與調制

• 功能：將語義編碼的表示進一步轉化為可在物理信道上傳輸的比特流或符號。
• 區別：相比傳統通信，信道編碼的目標是保護語義完整性，而不是逐比特精準恢復。
• 技術：聯合信源-信道編碼（JSCC）、深度信道編碼。

4. 語義傳輸

• 過程：通過有噪聲信道傳輸編碼信號。
• 特點：允許物理比特出錯，只要語義信息可被正確恢復即可。
• 優化：利用任務相關的誤差容忍度（Task-Oriented Transmission）。

5. 語義解碼（Semantic Decoding）

• 功能：接收端利用解碼器和上下文知識，恢復原始信息的語義含義。

• 方法：

  • 使用深度學習模型結合外部知識庫進行語義推斷。
  • 對任務進行直接預測（如直接輸出“貓”而不是重構整張圖）。
    6. 知識更新與語義一致性維護

• 功能：

  • 發射端和接收端可能共享一個“語義知識庫”或“任務模型”。
  • 隨時間和任務變化，更新共享知識，保持語義理解一致。

• 目的：避免因世界模型差異造成的“語義失真”。

整體流程示意圖

1. 語義編碼器：提取信息的語義表示（例如 GPT 的 embedding）。
2. 語義壓縮：刪除冗余語義成分，提高傳輸效率。
3. 聯合信源信道編碼：訓練過程中同時優化語義表達與抗噪聲能力。
4. 語義恢復/任務完成：不僅僅恢復字面文本，而是完成“翻譯”、“指令執行”、“目標識別”等任務。

1.3 基于大模型的語義通信關鍵技術

語義通信是一種新興的智能通信范式，旨在通過傳遞語義信息而非傳統的比特數據來提高通信效率。將AI大模型與語義通信結合，可以顯著提升其性能和應用范圍。
AI大模型在語義通信中的應用主要體現在知識庫的構建和優化上。傳統語義通信系統的知識庫面臨知識表達有限、更新頻繁以及共享不安全等問題，而AI大模型憑借其廣泛的世界知識和強大的推理能力，為知識庫的構建提供了強有力的支持。
最近，大多數AI驅動的語義通信系統模型，包括TOSCN，DeepSC-ST，以及DeepJSCC-V，都以設計高效的通信模型為中心，從非結構化數據源中提取語義信息。

🧠語義通信系統中AI大模型的設計建議

語義通信是一種新興的智能通信范式，旨在通過傳遞語義信息而非傳統的比特數據來提高通信效率。將AI大模型與語義通信結合，可以顯著提升其性能和應用范圍。
AI大模型在語義通信中的應用主要體現在知識庫的構建和優化上。傳統語義通信系統的知識庫面臨知識表達有限、更新頻繁以及共享不安全等問題，而AI大模型憑借其廣泛的世界知識和強大的推理能力，為知識庫的構建提供了強有力的支持。
最近，大多數AI驅動的語義通信系統模型，包括TOSCN，DeepSC-ST，以及DeepJSCC-V，都以設計高效的通信模型為中心，從非結構化數據源中提取語義信息。
針對不同類型的語義通信系統（如文本、圖像、音頻等），建議設計方案允許將大AI模型無縫集成到知識庫創建中：
可以將上面的內容改寫為更流暢、邏輯清晰的版本如下：

---

1）基于 GPT 的知識庫（文本語義通信）
在文本語義通信系統中，知識庫需要具備理解文本內容、識別主題、屬性與關系的能力。近年來，大規模語言模型（如 ChatGPT）為這一需求提供了新的解決方案。ChatGPT 基于 GPT-3.5，由 OpenAI 開發，能夠準確理解文本并回答各種問題。將 ChatGPT 用作文本數據的語義知識庫，可以在發送端從輸入文本中提取關鍵信息，并在接收端對語義解碼器恢復的文本進行優化——包括消除語義噪聲、根據用戶偏好調整表達方式，甚至轉換語言，以提升信息的可讀性與可用性。

2）基于 SAM 的知識庫（圖像語義通信）
在圖像語義通信系統中，知識庫應能夠分割圖像中的不同目標，并識別其類別與相互關系。Meta AI 提出的 Segment Anything Model（SAM） 是一種極具前景的零樣本圖像分割模型，可適應各種陌生場景和目標。將 SAM 作為圖像知識庫，發送端可先對輸入圖像進行分割，提取最重要的區域供語義編碼器處理；接收端則可利用 SAM 對解碼后的圖像進行語義噪聲消除與細節提取，從而精準保留圖像中有價值的信息。

3）基于 WavLM 的知識庫（音頻語義通信）
在音頻語義通信中，知識庫需支持多種音頻處理任務，包括自動語音識別、說話人識別與語音分離。微軟亞洲研究院提出的大規模音頻模型 WavLM，經過 94,000 小時無監督英語語音訓練，在語音識別及非內容類任務上表現優異。將 WavLM 用作音頻知識庫，發送端可先分離并識別不同說話者的聲音，去除背景噪聲，再由語義編碼器整合與編碼；接收端則可利用 WavLM 對恢復的音頻進行降噪和識別，確保關鍵信息清晰傳遞。

特性對比與適用場景
把三種基于大模型的語義通信系統整理成對照表：

系統類型	代表模型	主要處理數據類型	核心功能	發送端主要任務	接收端主要任務	優勢	典型應用場景
基于 GPT 的知識庫	ChatGPT（GPT-3.5）	文本	文本理解、主題與關系識別、內容重組	從原始文本中提取關鍵信息	消除語義噪聲，重組或翻譯文本	摘要與重組能力強，便于存儲與檢索	文檔傳輸、文本摘要、跨語言溝通
基于 SAM 的知識庫	Segment Anything Model（SAM）	圖像	零樣本圖像分割、目標識別	分割圖像，提取最重要的區域	去除無關信息，細化圖像細節	精準保留關鍵信息，適應多種場景	遠程監控、視覺協作、圖像檢索
基于 WavLM 的知識庫	WavLM	音頻	語音識別、說話人識別、語音分離	分離不同說話者，去除背景噪聲	語音降噪與識別	適合實時通信，識別精度高	在線會議、語音助手、即時通話

• 基于 GPT：擅長通過摘要凝練思想與觀點，便于存儲、檢索與分析文本信息。
• 基于 SAM：專注于視覺信息傳遞，能夠捕捉細節、空間布局與色彩，并準確傳達表情、情緒及非語言信號，提升直觀交流體驗。
• 基于 WavLM：適合實時交互與即時通信，信息傳遞高效且快速。

🔧 實現的核心技術

技術模塊	技術細節	說明
🧬 語義信源建模	Word2Vec、BERT、GPT、GNN	將原始信息映射為語義空間向量
🔗 語義信道編碼	Transformer Encoder、VAE、CNN/RNN	將語義嵌入進行壓縮、冗余設計
🧠 語義解碼與推理	Decoder、Attention、語言生成模型	基于語義上下文完成接收信息推理
🎯 端到端訓練機制	聯合信源-信道優化	用于優化任務完成率或語義保真度
🧪 評估指標與損失函數	BLEU, ROUGE, SER (語義錯誤率), 任務成功率	不同于比特誤碼率（BER）
?? 預訓練與遷移學習	使用預訓練語言模型并適應通信場景	降低訓練成本，提高泛化能力
🛠? 仿真平臺	PyTorch, TensorFlow, MATLAB	用于端到端通信系統建模與測試

隨著大語言模型（LLM） 和多模態模型（VLM） 的發展，語義通信得以跨越“可行性”到“實用化”的鴻溝。以下是一些關鍵技術：

技術方向	描述
🔠 語義壓縮	基于大模型提取高層次語義特征，壓縮輸入內容（如文本摘要、圖像特征）
🧠 意圖識別	通過模型理解說話者目的，用以指導更高效的編碼/解碼
🌐 共享語言模型	發端和接收端共享或同步模型，提高語義一致性
🤝 協同推理與知識對齊	引入外部知識圖譜或上下文進行語義補全
🧩 多模態語義傳輸	文本、圖像、語音跨模態編碼與融合，如 CLIP、Flamingo 模型
🧬 語義對齊評價指標	采用 BLEU、ROUGE、BERTScore、Semantic Distance 等指標評估還原質量

🌍大模型優勢

• 強語言建模能力
• 支持上下文推理
• 可處理開放式任務
• 可生成壓縮而意義準確的內容

🧩模型類型與代表

LLM（語言大模型）：如 GPT、BERT、LLaMA
LVM（視覺大模型）：如 SAM、CLIP、BLIP
MM-LLM（多模態大模型）：如 CoDi、Flamingo、DALL·E

1.4 語義通信與傳統通信的區別

項目	傳統通信（香農范式）	語義通信（語義范式）
關注點	信號準確傳輸（比特、幀）	信息意義是否被理解
傳輸目標	比特準確	語義一致
評價指標	比特誤碼率（BER）	語義保真度（SSIM、BLEU等）
信源處理	編碼所有內容	提取并傳輸關鍵語義
信息單位	比特、符號	語義、概念、意圖
誤碼定義	比特/符號錯誤	語義理解錯誤
抗干擾能力	弱，需重傳	強，可容忍非關鍵信息錯誤
容錯能力	低（誤碼即出錯）	高（部分失真可接受）
通信結構	分離信源-信道編碼	端到端語義壓縮與重建
模型結構	基于信道容量和編碼理論	基于語言模型、知識庫
應用對象	數值通信	意圖表達與多模態任務
壓縮方式	物理壓縮（如ZIP）	語義壓縮（如摘要、抽象表示）
典型技術	信源/信道編碼、調制	深度學習、Transformer、大模型
代表人物/理論	香農信息論	Weaver (語義層擴展)，現代AI研究

---

1.5 典型應用場景

• 智能助理通信：如智能家居終端之間僅需傳遞意圖嵌入即可完成協作
• 邊緣計算：在傳輸帶寬有限的情況下，傳送語義表示而非全部原始數據
• 自動駕駛協作：車輛間共享抽象事件或語義，而非高清視頻流
• 人機語音通信：壓縮語音到語義，再由接收端復原成個性化語言

1.6 挑戰與未來方向

研究方向與前沿趨勢（2024–2025 最新熱點）

🎯 A. 基礎研究方向

方向	描述
🔄 聯合信源信道編碼優化	學習統一網絡優化壓縮和魯棒性
🌍 語義信道建模	探索語義空間下信道容量與失真理論
🧠 任務導向評估指標設計	設計語義誤碼率（SER）、任務準確率等新指標
📊 語義容量理論建模	類似香農理論，但引入語義信息和推理能力

🧩 B. 技術實現方向

方向	描述
🏗? 多模態語義通信系統	結合圖像、語音、文本，構建統一語義系統
🦾 低復雜度模型部署（邊緣側）	在IoT/邊緣設備部署輕量語義模型
📦 知識圖譜與語義增強通信	引入外部知識補充語義理解能力
🧩 強化學習調度機制	動態調整語義傳輸與反饋機制

🛰? C. 應用研究方向

應用場景	描述
6?? 6G通信系統	作為6G“以用戶感知為中心”設計的核心組成
🧠 車聯網/自動駕駛通信（V2X）	基于語義信息完成實時協同控制
🌐 元宇宙與沉浸式通信	實現人-機-虛擬世界之間的語義互通
🩺 遠程醫療/智能醫療設備通信	傳輸“癥狀→診斷”而非數據本身

挑戰	描述
?? 語義誤差可量化性	缺乏統一的語義失真度量標準
?? 模型同步問題	發端和收端模型不一致可能導致解碼偏差
📦 模型部署資源開銷大	大模型計算資源要求高
🌐 跨語種/多模態泛化能力	多語言、多模態語義對齊尚不完善
🔐 安全與魯棒性問題	攻擊者可能擾亂語義嵌入，造成“意思誤傳”

🎓開題建議：
準備研究或寫綜述/開題，可以考慮以下選題建議：

類型	建議題目
應用研究	多模態語義通信在智能車聯網中的應用與挑戰
模型設計	基于大語言模型的可解釋語義通信系統設計
理論研究	面向任務驅動的語義通信性能評估體系研究
工程實現	輕量化語義通信模型在邊緣設備的部署與優化

語義通信從根本上重新定義了“通信”的目標：不僅傳遞數據，更要傳遞意義與理解。 在大模型賦能下，這一理念逐漸可行，并為新一代智能通信系統提供理論支撐與實踐可能。

📚 最近 2 年語義通信核心論文一覽（含鏈接）

論文標題	來源/年份	主要內容	下載/代碼鏈接
1. When Large Language Models Meet Semantic Communication	TechRxiv, 2025	探討LLM（如GPT）在無線網絡語義通信資源分配中的潛力	論文 PDF
2. Toward Natively Intelligent Semantic Communications and Networking	IEEE Communications Magazine, 2024	全面討論多模態通信和E2E語義系統設計	PDF
3. Visual Language Model Based Cross-Modal Semantic Communication	IEEE TWC, 2025	利用VLM（如CLIP）實現跨模態語義通信	arXiv PDF
4. From Large AI Models to Agentic AI: A Tutorial on Future Intelligent Communications	arXiv, 2025	探討未來“代理型AI”與語義通信的融合	PDF
5. A Contemporary Survey on Semantic Communications	arXiv, 2025	涵蓋生成式AI、Theory of Mind、深度語義編碼	PDF
6. On-Air Deep Learning Integrated Semantic Inference Models for Earth Observation	arXiv, 2024	應用于衛星通信的ViT語義推理模型	PDF
7. Intellicise Wireless Networks from Semantic Communications	IEEE ComMag, 2024	面向智能無線網絡的語義系統架構與挑戰綜述	IEEE Link
8. Post-Deployment Fine-Tunable Semantic Communication	IEEE Wireless Communications, 2024	提出部署后可微調的Transformer模型通信結構	IEEE Link
9. Semantic Communication Empowered 6G Networks	IEEE Access, 2025	對6G中SC技術的多模態擴展及挑戰進行綜述	PDF
10. Transformer-Empowered 6G Intelligent Networks	IEEE JCN, 2023	從MIMO處理到語義通信的Transformer應用分析	arXiv PDF
11. Generative AI-Driven Semantic Communication Networks	IEEE Communications Surveys, 2024	探索LLM與多階段Transformer在SC系統中的架構演進	arXiv PDF
12. Advancing Ultra-Reliable 6G with Semantic Localization and Transformers	IEEE TWC, 2025	提出結合Transformer和語義定位的魯棒波束成形策略	arXiv PDF
13. Addressing OOD Challenges in Image Semantic Communication	IEEE ICC, 2024	多模態LLM提升圖像語義通信的泛化能力	arXiv PDF
14. Task-Oriented Explainable Semantic Communications	IEEE TWC, 2023	引入解釋性機制增強SC任務適應性	arXiv PDF
15. Emerging Trends in UAV Semantic Communications + GAI	IEEE TCOM, 2024	結合GNN、GAI的無人機語義通信系統	IEEE Link
16. Secure Semantic Communication with Generative AI	IEEE ComMag, 2024	探討物理層安全+生成式語義通信系統	arXiv PDF
17. What is Semantic Communication? (經典定義補充)	IEEE JSAC, 2023	理論化SC的定義、信源、信道模型與評估指標	IEEE Link

---

💻 部分公開代碼項目推薦（可用于實驗或復現）

項目名稱	功能	GitHub鏈接
🔹 DeepSC	基礎語義通信系統復現（文本傳輸）	github.com/HanqingZhang/DeepSC
🔹 DeepSC-Text-Transformer	加入BERT/Transformer的變種模型	github.com/AI-for-SemCom
🔹 SemCom-GPT (推測版)	基于大語言模型的語義通信（文本生成）	代碼暫無公開，建議關注論文作者動態
🔹 Multi-Modal SC Projects	包括圖像+文本語義通信實驗平臺	github.com/thu-ml（部分需授權）
🔹 Vision Transformer + Semantic Inference	ViT在衛星通信語義推理中的應用（論文所附）	查看 On-Air Deep Learning 附件代碼說明

---