【儀表網(wǎng) 研發(fā)快訊】近期，廈門大學(xué)信息學(xué)院王程教授和溫程璐教授團(tuán)隊(duì)，在激光雷達(dá)人體動(dòng)作和場(chǎng)景捕捉領(lǐng)域取得重要進(jìn)展，相關(guān)研究成果以“HiSC4D: Human-centered Interaction and 4D Scene Capture in Large-scale Space Using Wearable IMUs and LiDAR”為題發(fā)表在IEEE Transactions on Pattern Analysis and Machine Intelligence(DOI: 10.1109/TPAMI.2024.3457229)。
 

 

　　為適應(yīng)開(kāi)放的城市環(huán)境，智能體需要實(shí)時(shí)捕捉周邊人群的肢體動(dòng)作和場(chǎng)景的結(jié)構(gòu)。基于慣性傳感器和相機(jī)的傳統(tǒng)感知手段，分別存在長(zhǎng)時(shí)間數(shù)據(jù)漂移和對(duì)光照及環(huán)境動(dòng)態(tài)變化敏感等問(wèn)題，難以滿足智能駕駛、服務(wù)機(jī)器人、體育訓(xùn)練等應(yīng)用領(lǐng)域?qū)?fù)雜環(huán)境人體動(dòng)作和場(chǎng)景捕捉的需求。自2022年起，王程教授和溫程璐教授團(tuán)隊(duì)在國(guó)際上首先提出了激光雷達(dá)(LiDAR)人體動(dòng)捕技術(shù)(LiDARCap, CVPR 2022; HSC4D, CVPR 2022; Sloper4D, CVPR 2023)。在本次發(fā)表的成果HiSC4D中，團(tuán)隊(duì)突破了在大規(guī)模室內(nèi)外開(kāi)放場(chǎng)景中，捕捉第一人稱視角下的多樣化雙人交互動(dòng)作和三維場(chǎng)景的方法。該方法通過(guò)融合慣導(dǎo)和激光雷達(dá)數(shù)據(jù)，構(gòu)建了多階段聯(lián)合優(yōu)化框架，有效解決了慣導(dǎo)帶來(lái)的漂移問(wèn)題，并顯著提升了場(chǎng)景重建精度，擴(kuò)展了空間、人體動(dòng)作和互動(dòng)捕捉的范圍。同時(shí)發(fā)布了首個(gè)多模態(tài)雙人交互數(shù)據(jù)集，涵蓋不同場(chǎng)景類型和多樣化人體動(dòng)作，為相關(guān)研究領(lǐng)域提供訓(xùn)練數(shù)據(jù)資源。HiSC4D技術(shù)以激光雷達(dá)為核心傳感器，同時(shí)重建人體動(dòng)作和三維場(chǎng)景，為具身智能走向廣闊戶外、融入人群開(kāi)辟了新的思路。
 

　　該論文由戴雨笛博士生、王志勇碩士生、林希平碩士生在溫程璐教授、王程教授、沈思淇副教授、上海科技大學(xué)許嵐研究員、馬月昕研究員共同指導(dǎo)下完成。該研究工作得到了國(guó)家自然科學(xué)基金項(xiàng)目(62171393)等項(xiàng)目的支持。