【儀表網 研發(fā)快訊】智能制造的核心是通過數據驅動的模型和決策，來實現預測性維護、工藝優(yōu)化、智能質檢、能源管理、供應鏈管理等任務。上?？萍即髮W創(chuàng)意與藝術學院智造系統(tǒng)工程中心武穎娜課題組聚焦工業(yè)場景下的產品智能質檢系統(tǒng)，針對產品信息捕捉不全、功能異常無法識別等自動化質檢的痛點問題，構建了基于多傳感器融合、動態(tài)交互進行異常推理判斷的智能系統(tǒng)，并于近日公開了針對工業(yè)場景下異常檢測任務的首個多模態(tài)數據集MulSen-AD和首個視頻數據集Phys-AD。相關的兩篇文章同時被IEEE國際計算機視覺與模式識別會議(IEEE  Conference on Computer Vision and Pattern Recognition, CVPR 2025)接收。
 

　　多傳感器目標異常檢測：外觀、幾何與內部屬性的統(tǒng)一表征
 

　　針對單一傳感器在同時捕捉產品外觀、尺寸、內部屬性等信息時存在顯著局限性的問題，課題組提出了基于多傳感器融合的工業(yè)異常檢測方法。為了獲得產品的全面信息，建立了首個面向工業(yè)應用的高分辨率、多模態(tài)異常檢測數據集MulSen-AD(Multi-Sensor Anomaly Detection)。針對15種產品類別，設計了孔洞、折痕、異物、劃傷、折彎、內部裂紋等14種真實缺陷，共計2035個樣本；通過RGB圖像、三維點云、紅外圖像三種形式的數據分別呈現產品的外觀缺陷、幾何變形以及內部淺表損傷等異常。本研究還提出了融合多傳感器數據的決策級融合算法MulSen-TripleAD，結合 RGB 紋理、紅外熱信號和 3D 點云信息，在無監(jiān)督異常檢測任務中取得了當前最好的性能，為現有復雜工業(yè)異常檢測任務提供了新的研究思路。該成果以 “Multi-Sensor Object Anomaly Detection: Unifying Appearance, Geometry, and Internal Properties” 為題，被 CVPR 2025會議接收。
 

基于決策層融合的多傳感器異常檢測網絡
 

　　上海科技大學為第一完成單位，2022級碩士研究生李文嶠、2023級碩士研究生鄭博中、密歇根大學徐曉豪為共同第一作者，武穎娜研究員與高盛華教授為共同通訊作者。
 

　　面向真實世界物理動態(tài)的視覺理解與推理：基于物理先驗的異常檢測
 

　　針對工業(yè)異常檢測算法大多依賴于靜態(tài)、語義簡單的數據集，難以識別產品功能異常的問題，課題組提出了首個大規(guī)模、交互驅動的工業(yè)異常檢測視頻數據集Phys-AD(Physics Anomaly Detection)，旨在提升算法基于物理先驗知識來理解、推理和判斷功能異常的能力。通過機械臂、電機等與產品進行交互，設計并采集了6400個視頻；針對22種產品類別，設計了機械故障、運動異常等47種功能異常的場景。Phys-AD的任務更強調視覺推理，要求算法結合物理先驗知識與視頻內容，判斷產品是否存在功能異常。在進行基準測試的同時，本研究還引入 PAEval 評測指標，衡量算法在檢測異常的同時解釋其物理原因的能力，推動異常檢測算法向更具物理推理能力的方向發(fā)展。該成果以“Towards Visual Discrimination and Reasoning of Real-World Physical Dynamics: Physics-Grounded Anomaly Detection”為題，被CVPR 2025會議接收。
 

基于物理先驗的物體異常檢測類人決策過程
 

Phys-AD視頻數據集
 

　　上海科技大學為第一完成單位，2022級碩士研究生李文嶠、2023級碩士研究生谷峣、2024級碩士研究生陳鑫濤為共同第一作者，武穎娜研究員為通訊作者。