【儀表網(wǎng) 研發(fā)快訊】近日，The Innovation(IF=33.2)在線發(fā)表了武漢大學遙感信息工程學院張永軍/李彥勝教授團隊最新評論文章。論文題目為“Unleashing the potential of remote sensing foundation models via bridging data and computility islands”(打破數(shù)據(jù)與算力孤島，釋放遙感基礎大模型潛力)。李彥勝教授為論文第一作者，張永軍教授、螞蟻集團楊銘研究員為論文通訊作者。合作者包括武漢大學、俄羅斯科學院、螞蟻集團、上海人工智能實驗室、美國普渡大學等國內(nèi)外知名機構學者和研究生。
 

　　在當前的遙感領域，數(shù)據(jù)與算力的分散化問題較為突出，這受到隱私保護、存儲限制、行業(yè)競爭以及地理信息安全等多方面因素的影響。為應對這一挑戰(zhàn)，研究團隊著眼于分布式協(xié)同預訓練的新模式，重點圍繞遙感基礎大模型的協(xié)同訓練與推理環(huán)節(jié)展開研究，旨在探索如何有效整合分散的遙感數(shù)據(jù)和分布式計算資源，并對協(xié)同式架構釋放遙感基礎大模型潛力的可行性進行了分析。在此基礎上，研究團隊呼吁政府數(shù)據(jù)中心、企業(yè)機構以及高校研究團隊等各方力量，在確保隱私保護的前提下，共同參與遙感基礎大模型建設，并共享其時空智能服務，以構建全球協(xié)作網(wǎng)絡，充分盤活孤島式的遙感數(shù)據(jù)與算力資源。
 

圖1 打破遙感數(shù)據(jù)與算力孤島，邁向地球觀測通用智能
 

　　團隊構建了全球首個顧及隱私保護的遙感基礎模型分布式協(xié)同預訓練框架FedSense，可以靈活支持基于對比學習和掩碼重建的自監(jiān)督學習。為了解決協(xié)同預訓練面臨的遙感數(shù)據(jù)異質(zhì)性與高通信開銷引發(fā)的惡性循環(huán)挑戰(zhàn)，團隊提出了一種聯(lián)邦互指導學習方法。在該方法中，服務器與客戶端進行雙向互相指導，服務器端引導客戶端進行正交條件下的自穩(wěn)定參數(shù)更新，客戶端引導服務器進行低比特通信下的知識注入?；贔edSense，團隊實現(xiàn)了10個參與機構在百萬量級遙感影像上開展遙感基礎模型高效協(xié)同預訓練。實驗結果表明，多個參與機構通過FedSense開展遙感基礎模型的協(xié)同預訓練，可以實現(xiàn)機構之間的高效合作共贏?；贔edSense協(xié)同預訓練的遙感基礎模型相較于基線方法在場景分類、目標檢測、語義分割、變化檢測等8個遙感領域典型的下游任務數(shù)據(jù)集上，取得了顯著的性能提升。在將通信開銷壓縮至全精度傳輸?shù)?/32時，F(xiàn)edSense仍然能夠保持良好的優(yōu)化性能，并且隨著參與方數(shù)量的不斷增多，模型性能可以實現(xiàn)穩(wěn)步提升。
 

　　圖2 遙感基礎模型分布式協(xié)同預訓練框架FedSense與多機構遙感預訓練數(shù)據(jù)集示意圖

 

　　展望未來，團隊將致力于研究多模態(tài)遙感基礎模型的安全可信多方協(xié)同預訓練技術，響應國家發(fā)布的《可信數(shù)據(jù)空間發(fā)展行動計劃》，支持建設可信可管、互聯(lián)互通、價值共創(chuàng)的遙感數(shù)據(jù)空間，助力邁向地球觀測通用智能。