【儀表網(wǎng) 研發(fā)快訊】隨著深度學(xué)習(xí)技術(shù)在圖像分割任務(wù)中的廣泛應(yīng)用，如何準(zhǔn)確評估模型性能成為了研究的重點和難點。傳統(tǒng)的評估方法往往受限于類別分布的變化，導(dǎo)致評價結(jié)果出現(xiàn)偏差。對此，唐立娜研究員領(lǐng)銜的合作團(tuán)隊通過引入圖像分類效能(Image Classification Efficacy, ICE)指標(biāo)，提供了一種更為精細(xì)的評估框架，特別是在缺乏黃金標(biāo)準(zhǔn)的情況下。該研究系統(tǒng)應(yīng)用ICE指標(biāo)，旨在解決深度學(xué)習(xí)圖像分割模型在面對分類類別不平衡時潛在的評估難題。
 

　　在這項研究中，團(tuán)隊?wèi)?yīng)用多模態(tài)遙感數(shù)據(jù)(多光譜和LiDAR數(shù)據(jù))，從多個角度(單一或多個模型在同一或不同數(shù)據(jù)集上的測試，以及二分類和多分類方案)進(jìn)行了六組圖像分割實驗，系統(tǒng)演示了ICE指標(biāo)的應(yīng)用。
 

　　通過與Precision、Recall、F-Score和Overall Accuracy等常用精度評價指標(biāo)進(jìn)行對比，ICE指標(biāo)顯示出穩(wěn)定的可靠性。此外，研究還探討了Kappa系數(shù)、ROC-AUC和PR-AUC等其他常用評估指標(biāo)的適用性，并與ICE指標(biāo)進(jìn)行了比較。研究結(jié)果顯示，ICE指標(biāo)在處理類別不平衡問題時具有明顯優(yōu)勢，該指標(biāo)能夠有效地降低類別不平衡帶來的影響，從而更加準(zhǔn)確地評估模型的性能。這種方法將有助于提高圖像分割工具的可靠性和適用性，尤其是在遙感應(yīng)用領(lǐng)域。
 

　　這項研究有望為圖像分割領(lǐng)域提供一項新的、性能更加穩(wěn)定評估工具，進(jìn)一步增強圖像分割工具在各種應(yīng)用中的性能和實用性。相關(guān)研究成果以Bolstering Performance Evaluation of Image Segmentation Models with Efficacy Metrics in the Absence of a Gold Standard為題發(fā)表在遙感領(lǐng)域國際頂級期刊IEEE Transactions on Geoscience and Remote Sensing上，中國科學(xué)院城市環(huán)境研究所研究員唐立娜為第一作者兼通訊作者，美國普渡大學(xué)邵金圓博士生為共同通訊作者。該研究得到了國家重點研發(fā)計劃(2022YFF1301303)的資助。
 

圖1 精度評估和模型表現(xiàn)評價流程