【儀表網(wǎng) 研發(fā)快訊】近期，中國(guó)科學(xué)院上海光學(xué)精密機(jī)械研究所空天激光技術(shù)與系統(tǒng)部司徒國(guó)海研究員團(tuán)隊(duì)，提出了一種基于深度神經(jīng)網(wǎng)絡(luò)的、能應(yīng)用于自然場(chǎng)景的實(shí)時(shí)非侵入式透過(guò)散射介質(zhì)光學(xué)成像方法。相關(guān)成果以“Learning-based real-time imaging through dynamic scattering media”為題發(fā)表于Light: Science & Applications。
 

　　透過(guò)散射介質(zhì)成像對(duì)道路交通安全、火場(chǎng)救援、安防監(jiān)控、水下探測(cè)與醫(yī)療診斷等領(lǐng)域具有重要的科學(xué)意義和應(yīng)用價(jià)值。隨著近些年人工智能技術(shù)的興起，研究人員已經(jīng)利用深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)從散斑圖樣中復(fù)原出清晰的物體、通過(guò)優(yōu)化光場(chǎng)調(diào)控實(shí)現(xiàn)透過(guò)散射介質(zhì)聚焦、以及實(shí)現(xiàn)超17倍光學(xué)厚度的散射成像等工作。這些研究成果無(wú)不彰顯著人工智能技術(shù)帶來(lái)的收益。然而，受限于實(shí)際應(yīng)用場(chǎng)景的數(shù)據(jù)集難以采集，大多已有研究只能用空間光調(diào)制器依次加載大量圖像，在實(shí)驗(yàn)室人造散射環(huán)境中，人造光源侵入式照明條件下，用相機(jī)采集相應(yīng)的散射圖像。這樣設(shè)計(jì)的實(shí)驗(yàn)條件與實(shí)際散射場(chǎng)景在光學(xué)特性上大相徑庭，用這些數(shù)據(jù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)只能應(yīng)用在類似的實(shí)驗(yàn)環(huán)境，而無(wú)法應(yīng)用在真實(shí)的外場(chǎng)散射環(huán)境中。
 

　　圖1：DescatterNet算法框架。(a)實(shí)驗(yàn)裝置。利用不發(fā)光且漫反射的墨水屏模擬真實(shí)物體，采集模擬真實(shí)散射場(chǎng)景的數(shù)據(jù)集。(b)數(shù)據(jù)處理流程。首先利用數(shù)據(jù)預(yù)處理方法消除不均勻本底同時(shí)增強(qiáng)圖像特征，然后訓(xùn)練優(yōu)化的網(wǎng)絡(luò)模型，最終應(yīng)用于真實(shí)物體和真實(shí)場(chǎng)景的散射成像。

 

　　針對(duì)這一問(wèn)題，研究團(tuán)隊(duì)提出了一種深度學(xué)習(xí)技術(shù)應(yīng)用于真實(shí)散射場(chǎng)景的解決方案，分別從實(shí)驗(yàn)裝置設(shè)計(jì)、數(shù)據(jù)集設(shè)計(jì)、數(shù)據(jù)預(yù)處理方法、AI模型優(yōu)化和部署等方面進(jìn)行研究，最終在真實(shí)物體和自然場(chǎng)景中取得顯著的散射成像效果。
 

　　圖2：DescatterNet在不同散射程度條件下的復(fù)原結(jié)果。第一行是相機(jī)采集原始圖像歸一化顯示的結(jié)果。第2~4行是網(wǎng)絡(luò)模型對(duì)不同樣本的復(fù)原結(jié)果。右圖是散射圖和復(fù)原圖的評(píng)價(jià)指標(biāo)隨散射程度變化的曲線

 

　　如圖2所示，隨著散射程度加深，原始散射圖像迅速退化，并完全無(wú)法分辨。 DescatterNet對(duì)真實(shí)物體實(shí)現(xiàn)了高質(zhì)量的散射成像，大大提高了成像系統(tǒng)的探測(cè)性能。
 

　　圖3：DescatterNet應(yīng)用于自然場(chǎng)景的散射成像。(i)采集的原始散射圖像；(ii)暗通道去霧算法的結(jié)果；(iii)Retinex算法的結(jié)果；(iv)本文方法的結(jié)果；(v)清晰圖像

 

　　在前面工作基礎(chǔ)上，研究人員進(jìn)行了自然場(chǎng)景的散射成像實(shí)驗(yàn)，并搭建了如圖3a所示的成像裝置。在這項(xiàng)實(shí)驗(yàn)中，該研究成功實(shí)現(xiàn)了透過(guò)戶外5.9km的濃霧環(huán)境對(duì)自然場(chǎng)景進(jìn)行散射成像。傳統(tǒng)圖像增強(qiáng)方法比如暗通道和Retinex等都難以復(fù)原出清晰圖像，而DescatterNet則取得最優(yōu)的復(fù)原結(jié)果。
 

　　該成果表明解決AI技術(shù)應(yīng)用于真實(shí)散射場(chǎng)景的關(guān)鍵在于適配的數(shù)據(jù)集、數(shù)據(jù)處理算法以及強(qiáng)大的神經(jīng)網(wǎng)絡(luò)。結(jié)合光學(xué)成像原理研制的新一代智能成像技術(shù)極大地提高了系統(tǒng)的探測(cè)性能，在惡劣天氣下交通安全、視頻監(jiān)控、火場(chǎng)救援和水下探測(cè)等領(lǐng)域展現(xiàn)出巨大的應(yīng)用前景。
 

　　本工作得到了國(guó)家自然科學(xué)基金委、上海市學(xué)術(shù)帶頭人項(xiàng)目、上海市科技重大專項(xiàng)以及上海揚(yáng)帆計(jì)劃等項(xiàng)目的支持。