摘要:針對 6G 星地覆蓋場景高動態、遠距離、時變、資源有限等受限傳輸條件,實現基于語義通信的信息高效提取、信息可靠恢復及網絡無縫覆蓋擴展是有效路徑。探討了基于語義通信的衛星通信系統的鏈路結構,拓展了面向星地傳輸的語義通信的高效信息提取和可靠信息恢復方案,以增強星地傳輸能力,并研究了基于語義通信的衛星中繼方案的傳輸性能。認為未來應積極研究語義通信基礎理論及關鍵技術,深挖語義通信對面向 6G 衛星通信的支撐作用,使基于語義通信的 6G 衛星通信系統賦能更多應用場景。
">時間:
1 基于語義通信的衛星通信系統
中國 “十四五” 數字經濟發展規劃指出,構建全球覆蓋、高效運行的通信、遙感、導航空間基礎設施體系,加快中國數字經濟發展。作為支撐網絡強國、數字經濟和雙循環戰略的關鍵新型基礎設施,未來 6G 網絡需要實現全域覆蓋、高帶寬、低延時和高可靠通信。由于衛星信道的獨特性,衛星通信與地面網絡有顯著的區別,包括衛星與地面設備之間距離較遠導致信號嚴重衰減和長時間延遲,以及強大的視距信道特性,如路徑損耗、大氣衰減和雨衰。此外,衛星信道中還存在高多普勒頻移和同頻干擾。受香農定理的限制,以上問題難以通過現有的衛星通信范式解決。
為了實現 6G “泛在連接” 愿景,面向 6G 的衛星通信需要滿足激增的服務與覆蓋需求,這進一步推動了衛星通信技術與人工智能 (AI) 的深度融合。語義通信是一種全新的通信范式,借助人工智能與通信融合,通過將任務需求與信息傳輸有機映射,可以大幅度提升通信效率,緩解衛星通信系統的頻譜稀缺問題,改善用戶的業務體驗。依托智能與通信、網絡等技術的深度融合,通過語義特征提取、語義信息傳輸以及語義信息恢復,可以保證惡劣衛星信道環境下的服務質量以及對信道的魯棒性。同時,傳統的通信系統關注信道容量、誤碼率和中斷概率等與數據內容無關的指標,而語義通信關注數據的內容以及含義,并根據不同的數據類型定制不同的性能指標,例如針對文本的語句相似度、針對圖像的峰值信噪比和結構相似性指標以及針對語音數據的失真率等,從而滿足 6G 多樣化任務需求。因此,語義通信被認為是有競爭力的 6G 候選技術,可有效賦能 6G 衛星通信。
得益于語義通信的高效信息處理與抗干擾能力以及衛星通信的廣域覆蓋,基于語義的衛星通信在諸多應用中表現出巨大潛力,如海事通信、物聯網、遙感圖像傳輸等。
1.1 研究現狀分析
近年來,以深度學習為代表的人工智能技術在語義信息提取方面已取得了一定的進展。斯坦福大學的學者率先設計了一個面向文本的傳輸語義通信系統,采用可用于提取語義信息的預訓練查找表把單詞表征為嵌入向量。倫敦瑪麗女王大學的學者提出了基于 Transformer 的語義通信系統,可以有效地從文本中提取語義信息,并且對噪聲具有魯棒性。北京郵電大學的學者從語義角度以模型方式將信源高維度信息提取,進而構建針對多模態信源和信道特征的模型信息空間,根據語義信息特征實現用戶區分,并在語義通信原型系統上進行了實驗驗證。
信源信道聯合編碼 (JSCC) 是語義通信的關鍵技術之一,比獨立的信源編碼和信道編碼方案更好。帝國理工大學的學者通過基于深度學習的 JSCC (DeepJSCC) 方法,從訓練數據中提取復雜語義特征,同時將信道特征隱式地納入其編碼中。該方法表現出優越的語義表征性能。目前大部分研究建立在卷積神經網絡的基礎上,而卷積神經網絡在捕獲全局依賴關系方面效率低下。有學者提出采用 Swin Transformer 的模型來提取語義特征信息,針對圖像傳輸進行了高效優化。
通過生成上下文敏感、適應性強且語義密集的內容,生成式人工智能 (GAI) 極大地增強了語義通信有效傳輸信息的能力。此外,面對衛星通信的高動態、時變信道環境,GAI 可用于不斷完善語義知識庫和學習模型,保證語義通信系統能夠觀察網絡環境并適應不斷變化的動態網絡條件。新加坡南洋理工大學的學者提出了一種 GAI 輔助的語義通信框架,無需聯合訓練,與傳統的語義通信方法相比,可以降低計算復雜性和能源成本。東南大學的學者利用基于生成模型的語義分割和重建來提取語義特征,顯著降低帶寬需求。
為應對無線信道中常見的信噪比 (SNR) 波動和噪聲問題,北京郵電大學學者提出了一種基于潛在語義擴散模型的信道自適應去噪語義通信系統。鵬城實驗室的學者研究了基于語義知識庫的多層級語義編碼和傳輸機制,分別在視覺特征空間、語義特征空間、潛在特征空間進行類別判決,自適應地實現多層級傳輸與信道狀態的智能適配。
總的來說,在面向 6G 衛星通信場景下,如何針對高動態、不穩定信道,利用有限的通信帶寬和能量,對多類型數據 (如圖像、視頻、傳感器數據等) 進行語義融合提取與表征、高效傳輸以及可靠恢復,仍有待進一步研究。
1.2 基于語義通信的衛星通信系統的需求與挑戰
衛星通信被視為 6G 空天地立體覆蓋的重要組成部分,但由于衛星通信存在高衰落、長時延的問題,目前的基于語義的衛星通信在高效信息提取、可靠信息恢復及覆蓋廣度擴展 3 個方面面臨諸多挑戰。
首先,現有的衛星系統在資源和環境約束下所映射的信息提取與傳輸能力不足。節點的頻繁移動和位置變化導致信道狀態難以有效預測和穩定估計,現有的信號處理方法無法適應這種高頻率變化。遠距離傳輸增加了信號衰減和多徑效應的可能性,使得在有限帶寬和能量資源下提取關鍵信息變得更加復雜和重要。因此,如何針對高動態、不穩定信道,利用有限的通信帶寬和能量,對多類型數據 (如圖像、視頻、傳感器數據等) 進行語義融合提取與表征,高效傳輸,仍有待進一步研究。
其次,可靠信息恢復在受限的傳輸條件下面臨嚴峻考驗。高動態和時變環境中的信號容易受到干擾和噪聲影響,導致信息丟失或失真,現有的糾錯和信道編碼技術難以滿足 6G 衛星通信環境下的需求。遠距離傳輸中的信號衰減和誤碼風險增加了信息可靠恢復的難度,需要在高度不確定的環境中保證信息的準確性和完整性。
最后,在資源受限和動態變化的環境下的覆蓋廣度擴展問題也急需有效的解決方案。現有的固定基站架構和靜態資源分配策略難以滿足 6G 廣域覆蓋的需求,高度動態的節點移動和位置變化要求網絡能夠靈活調整覆蓋范圍和資源分配。同時,有限的頻譜資源和能量約束使得實現廣域覆蓋更加復雜,頻譜共享和能量管理在多網絡環境中的協調難度增加。
綜合來看,面向 6G 空天地立體覆蓋的基于語義的衛星通信系統在高效信息提取、可靠信息恢復和覆蓋廣度擴展方面,將面臨動態環境、遠距離傳輸和資源有限等多重技術挑戰。
1.3 基于語義通信的衛星通信系統的鏈路結構
與傳統的端到端語義通信模型不同,基于語義的衛星通信架構主要考慮 3 種不同類型的鏈路,包括衛星與用戶間的服務鏈路、衛星與網關間的饋線鏈路以及衛星之間的星間鏈路。其中,服務鏈路處理業務數據的傳輸,饋線鏈路將網關連接到衛星促進衛星與核心網之間的交互,星間鏈路管理衛星服務之間的切換和協同控制。
受到傳統通信中利用邊緣緩存提升通信性能的啟示,我們采用服務衛星 (載荷)- 通信衛星 (載荷)- 數據中心三級架構進行語義知識基的緩存,并構建了基于正交頻分復用 (OFDM) 的知識增強衛星語義通信系統。借助深度學習技術實現語義編碼,可在進一步高效壓縮的同時,降低系統的總體復雜性。首先,發送方對服務數據進行實體識別,生成實體列表,接著利用神經網絡模型將服務數據轉換為語義向量,經過維度壓縮處理后得到語義符號。根據發射器生成的實體列表,服務衛星知識基查詢相應語義知識,并定義一個語義導頻,作為當前知識基版本號和語義標簽的組合。服務衛星會記錄每個服務任務的請求頻率,并根據記錄的頻率向通信衛星請求相應的知識圖譜。將浮點型符號成對組合,轉化為復數符號,并利用 OFDM 技術直接執行快速傅里葉逆變換 (IFFT),將復雜符號轉換為時域符號。
為確保接收方能成功解碼,擬借鑒梳狀導頻方法指定符號長度,并在每個符號開頭插入語義導頻。所有語義符號將以浮點型傳輸,實現直接通信。而傳統信道導頻符號則通過傳統二進制位通信方法發送,在經過信道編碼、調制等處理后,傳統導頻符號被轉化為浮點型,與語義符號和語義導頻疊加一起傳輸。最后,將包含語義向量、語義導頻和信道導頻的串行數據流通過 IFFT 變換為時域符號,通過無線信道傳輸。在接收端,對同步后接收到的 OFDM 符號流進行快速傅里葉變換 (FFT),經過信道估計和信道補償后,取出語義導頻進行解碼,得到相應的知識嵌入。如果發現當前知識基版本與語義導頻中的版本不匹配,則直接將接收到的語義符號輸入解碼器進行恢復。否則,將使用語義導頻中的語義標簽來查詢每個句子對應的知識嵌入。同時,知識嵌入和接收到的語義符號將一起解碼以進行語義恢復。
2 面向 6G 衛星通信的語義通信技術
在傳統通信系統中,傳輸的數據往往包含大量的冗余信息,導致傳輸效率低下。同時,基于衛星通信服務的廣泛性,往往要求對不同類型數據共同分析與處理,這對網絡計算能力提出更高要求。6G 語義通信通過提取和傳輸關鍵語義信息,減少不必要的數據傳輸,從而提高傳輸效率。針對 6G 衛星通信場景下所面臨的遠距離、高動態、時變、有限資源等受限傳輸條件下的傳輸難題,在發送端實現多種類型關鍵信息捕捉、信道自適應傳輸以及語義級別信息恢復是 6G 衛星通信的潛在方式之一。
要實現面向 6G 的衛星通信的高效語義信息傳輸,可以從語義理解、多模態信息融合表征、高效語義提取表征入手,并探究基于大模型的多模態信息高效融合表征機制,研究自適應深度語義理解與語義高效傳輸機制,設計大模型輔助的生成式語義通信方案。
多模態信息高效融合表征機制
生成式大模型憑借較強的理解能力與生成能力將在語義通信中扮演著至關重要的角色。不管是在發送端基于先驗知識提取語義信息,還是在接收端根據背景知識解碼語義信息,生成式大模型都將極大地增強語義通信的有效傳輸能力。大模型輔助的生成式語義通信框架涵蓋了從信息編碼到解碼的完整流程,包括跨模態編碼、知識庫檢索、語義編碼與解碼、信道編碼與解碼等關鍵技術環節,收發端均依賴生成式大模型以增強通信效率和準確性。
自適應深度語義理解與語義高效傳輸機制
采用針對不同信源模態的特征提取器,并結合深度聯合信源信道編解碼技術,不僅可以優化特征信息的傳輸效率,還可以滿足不同的應用需求。這種方法能夠實現高效且自適應的特征提取和傳輸,以適應 6G 衛星通信的極端傳輸條件。自適應高效語義特征提取與傳輸框架根據信息熵來衡量哪些數據應該被保留。熵模型可以估計輸入語義特征的概率分布。因此,該框架基于熵模型,計算特征信息的信息熵來評估其對下游任務的重要性,其輔助深度聯合信源信道編解碼實現可變長編解碼,優化帶寬資源,同時保證任務的完成準確度等性能。
基于潛在擴散模型的信道自適應均衡去噪語義通信系統
傳統的語義通信方案依賴于利用原始數據和經過信道退化的數據對來訓練語義編解碼器模型,這種模型針對特定信道進行優化。受限于衛星與地面終端之間的較高速的相對運動所導致的信道時變非平穩特性,傳統的語義通信方案性能嚴重退化。通過基于潛在擴散模型的信道自適應均衡去噪語義通信系統可以有效解決這一問題,實現衛星通信系統語義信息的可靠恢復。該系統將消除信道影響視為去噪過程的逆過程,并利用擴散模型強大的語義信號先驗信息捕捉能力來解決這一逆問題,從而實現自適應地消除信道影響。該系統在離線階段無需反復訓練、緩存語義編解碼器模型,從而節約了語義通信系統的部署成本。此外,該系統在降低恢復信號失真的同時,能夠同時提升恢復信號感知質量,在極端條件下 (例如極低信噪比或壓縮率) 有著明顯的性能優勢。
3 面向 6G 衛星通信的語義中繼增強技術
語義知識庫對于語義信道編解碼器的設計至關重要,可以提升語義通信傳輸效率以及智能任務的服務準確度。雖然語義通信是基于發送方和接收方共同的語義背景知識,但在實踐中,由于衛星系統服務的海量連接,源節點和目的節點很難具有完全相同的語義背景知識。同時,考慮從用戶到衛星,再到網關的典型通信鏈路場景,傳統的放大轉發和解碼轉發方式,面臨級聯衰落挑戰,極大影響傳輸質量以及服務準確度。在衛星中繼端部署基于卷積神經網絡的中繼語義恢復網絡,可以有效削弱級聯衰落所帶來的性能退化,同時提高不同知識背景下衛星服務的適應性。具體來說,語義編碼器由若干個下采樣卷積層將原始數據轉換到潛在空間,降低計算復雜度。JSCC 編碼器通過卷積層對來自語義編碼器的潛在表示進行編碼并適應信道條件。中繼語義恢復器由 3 個連續的塊組成,每個塊包括一個卷積層和若干個殘差層。
為了驗證引入中繼語義恢復器在衛星中繼通信場景下的優勢,我們構建了一個基于信源信道聯合編碼與中繼語義恢復網絡的衛星中繼圖像傳輸框架。在該框架中,地面收發端部署語義編解碼器,衛星中繼端部署中繼語義恢復網絡。傳輸圖像經過語義編碼傳輸到衛星中繼端,并在衛星中繼端進行語義轉發,此處并不涉及信息的編解碼過程,而視作語義信息的恢復與糾錯,最后傳輸到地面接收端解碼得到傳輸信息。
在仿真驗證中,采用結構相似性指數 (SSIM) 和峰值信噪比 (PSNR) 作為評價指標,對比方案包括:1) DeepJSCC 傳輸模型,它是經典的語義通信模型,使用基于卷積神經網絡的編碼器 - 解碼器;2) 使用 JPEG 進行源編碼以及使用低密度奇偶校驗 (LDPC) 碼進行信道編碼來傳輸圖像。Cityscapes 數據集用于訓練深度神經網絡模型,傳輸圖像被預處理為 512×512 像素。將圖像依像素建模為x∈Rn的向量,通過基于深度神經網絡的編碼器映射到連續值信道輸入符號s∈Rk的向量,通常k
在高信噪比下,3 種方案均表現出良好的圖像傳輸性能。隨著 SNR 的降低,傳統的 JPEG+LDPC 的傳輸方案由于 “懸崖效應”,性能急劇退化,而基于信源信道聯合編碼技術的方案則能有效克服 “懸崖效應”,保持穩定的信息恢復性能。在較低 SNR (0 dB 及以下) 下,由于級聯衰落效用的影響,DeepJSCC 方案性能明顯低于中繼語義通信方案 (RelaySC),論證了面向衛星通信的中繼語義通信方案的有效性。在各 CBR 下,RelaySC 方案的 PSNR 性能均優于 DeepJSCC 方案,進一步論證了面向衛星通信的中繼語義通信方案的有效性與可靠性。
4 結束語
近年來全球航天活動持續深入,航天發展新模式、新業態不斷涌現,空天信息服務的需求也在加速演進。針對面向 6G 的衛星通信的信息高效提取、可靠恢復、覆蓋擴展難題,我們需要探索語義通信基礎理論及關鍵技術,如多模態融合、大模型輔助語義通信、語義級反饋重傳、語義知識庫輔助、語義中繼轉發等,深挖語義通信對面向 6G 衛星通信的支撐作用。通過通信與 AI 的深度融合,面向 6G 衛星通信的語義通信在物聯網、遙感圖像回傳、多種模態信息傳輸、軍事等領域擁有廣泛應用場景。
黃靖洪;孫夢穎;韓書君;許曉東,北京郵電大學,202405