【儀表網(wǎng) 研發(fā)快訊】智能制造的核心是通過數(shù)據(jù)驅(qū)動的模型和決策，來實現(xiàn)預(yù)測性維護、工藝優(yōu)化、智能質(zhì)檢、能源管理、供應(yīng)鏈管理等任務(wù)。上海科技大學(xué)創(chuàng)意與藝術(shù)學(xué)院智造系統(tǒng)工程中心武穎娜課題組聚焦工業(yè)場景下的產(chǎn)品智能質(zhì)檢系統(tǒng)，針對產(chǎn)品信息捕捉不全、功能異常無法識別等自動化質(zhì)檢的痛點問題，構(gòu)建了基于多傳感器融合、動態(tài)交互進行異常推理判斷的智能系統(tǒng)，并于近日公開了針對工業(yè)場景下異常檢測任務(wù)的首個多模態(tài)數(shù)據(jù)集MulSen-AD和首個視頻數(shù)據(jù)集Phys-AD。相關(guān)的兩篇文章同時被IEEE國際計算機視覺與模式識別會議(IEEE  Conference on Computer Vision and Pattern Recognition, CVPR 2025)接收。
 

　　多傳感器目標(biāo)異常檢測：外觀、幾何與內(nèi)部屬性的統(tǒng)一表征
 

　　針對單一傳感器在同時捕捉產(chǎn)品外觀、尺寸、內(nèi)部屬性等信息時存在顯著局限性的問題，課題組提出了基于多傳感器融合的工業(yè)異常檢測方法。為了獲得產(chǎn)品的全面信息，建立了首個面向工業(yè)應(yīng)用的高分辨率、多模態(tài)異常檢測數(shù)據(jù)集MulSen-AD(Multi-Sensor Anomaly Detection)。針對15種產(chǎn)品類別，設(shè)計了孔洞、折痕、異物、劃傷、折彎、內(nèi)部裂紋等14種真實缺陷，共計2035個樣本；通過RGB圖像、三維點云、紅外圖像三種形式的數(shù)據(jù)分別呈現(xiàn)產(chǎn)品的外觀缺陷、幾何變形以及內(nèi)部淺表損傷等異常。本研究還提出了融合多傳感器數(shù)據(jù)的決策級融合算法MulSen-TripleAD，結(jié)合 RGB 紋理、紅外熱信號和 3D 點云信息，在無監(jiān)督異常檢測任務(wù)中取得了當(dāng)前最好的性能，為現(xiàn)有復(fù)雜工業(yè)異常檢測任務(wù)提供了新的研究思路。該成果以 “Multi-Sensor Object Anomaly Detection: Unifying Appearance, Geometry, and Internal Properties” 為題，被 CVPR 2025會議接收。
 

基于決策層融合的多傳感器異常檢測網(wǎng)絡(luò)
 

　　上?？萍即髮W(xué)為第一完成單位，2022級碩士研究生李文嶠、2023級碩士研究生鄭博中、密歇根大學(xué)徐曉豪為共同第一作者，武穎娜研究員與高盛華教授為共同通訊作者。
 

　　面向真實世界物理動態(tài)的視覺理解與推理：基于物理先驗的異常檢測
 

　　針對工業(yè)異常檢測算法大多依賴于靜態(tài)、語義簡單的數(shù)據(jù)集，難以識別產(chǎn)品功能異常的問題，課題組提出了首個大規(guī)模、交互驅(qū)動的工業(yè)異常檢測視頻數(shù)據(jù)集Phys-AD(Physics Anomaly Detection)，旨在提升算法基于物理先驗知識來理解、推理和判斷功能異常的能力。通過機械臂、電機等與產(chǎn)品進行交互，設(shè)計并采集了6400個視頻；針對22種產(chǎn)品類別，設(shè)計了機械故障、運動異常等47種功能異常的場景。Phys-AD的任務(wù)更強調(diào)視覺推理，要求算法結(jié)合物理先驗知識與視頻內(nèi)容，判斷產(chǎn)品是否存在功能異常。在進行基準(zhǔn)測試的同時，本研究還引入 PAEval 評測指標(biāo)，衡量算法在檢測異常的同時解釋其物理原因的能力，推動異常檢測算法向更具物理推理能力的方向發(fā)展。該成果以“Towards Visual Discrimination and Reasoning of Real-World Physical Dynamics: Physics-Grounded Anomaly Detection”為題，被CVPR 2025會議接收。
 

基于物理先驗的物體異常檢測類人決策過程
 

Phys-AD視頻數(shù)據(jù)集
 

　　上?？萍即髮W(xué)為第一完成單位，2022級碩士研究生李文嶠、2023級碩士研究生谷峣、2024級碩士研究生陳鑫濤為共同第一作者，武穎娜研究員為通訊作者。