【儀表網(wǎng) 研發(fā)快訊】近日，中國(guó)科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所仿生視覺(jué)系統(tǒng)實(shí)驗(yàn)室李嘉茂研究員團(tuán)隊(duì)在視覺(jué)三維人體姿態(tài)估計(jì)領(lǐng)域取得了重要進(jìn)展。題目為“Rotated Orthographic Projection for Self-Supervised 3D Human Pose Estimation”的成果被機(jī)器視覺(jué)領(lǐng)域頂級(jí)三大國(guó)際學(xué)術(shù)會(huì)議之一European Conference on Computer Vision(ECCV)2024錄用。
 

　　三維人體姿態(tài)估計(jì)是機(jī)器視覺(jué)理解人體動(dòng)作的關(guān)鍵技術(shù)，在虛擬現(xiàn)實(shí)、運(yùn)動(dòng)分析、人機(jī)交互等領(lǐng)域有著廣泛應(yīng)用。直接獲得高精度的三維人體姿態(tài)成本較高，機(jī)器視覺(jué)領(lǐng)域往往利用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行自監(jiān)督學(xué)習(xí)，從多視角的二維圖像中預(yù)測(cè)三維人體姿態(tài)。
 

　　重投影一致性，是實(shí)現(xiàn)自監(jiān)督學(xué)習(xí)3D人體姿態(tài)的關(guān)鍵。其主要思想是，由虛擬相機(jī)從與預(yù)測(cè)到的3D人體姿態(tài)拍攝到的2D人體姿態(tài)，應(yīng)該與輸入圖像中直接得到的2D人體姿態(tài)一致。在實(shí)際操作中，輸入圖像的2D姿態(tài)是由相機(jī)成像的透視投影得到的，然而由于與圖像相匹配的相機(jī)參數(shù)等信息缺失，預(yù)測(cè)的3D姿態(tài)無(wú)法使用透視投影，現(xiàn)有研究多采用簡(jiǎn)化投影模型-正交投影近似獲得2D人體姿態(tài)。這兩種投影模型的差異導(dǎo)致人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)與預(yù)測(cè)之間出現(xiàn)了偏差，3D人體姿態(tài)估計(jì)存在不可避免的誤差問(wèn)題。此外，重投影一致性約束缺乏對(duì)三維空間中姿態(tài)Z軸方向的有效約束，即使預(yù)測(cè)三維姿態(tài)Z軸整體反向，預(yù)測(cè)姿態(tài)的二維投影與輸入二維姿態(tài)仍能保持一致，這嚴(yán)重?fù)p害了模型的穩(wěn)定性。
 

　　為解決上述問(wèn)題，團(tuán)隊(duì)提出了一種旋轉(zhuǎn)正交投影模型，通過(guò)增加一個(gè)根據(jù)參考點(diǎn)距離圖像中心的偏移計(jì)算的旋轉(zhuǎn)補(bǔ)償，來(lái)實(shí)現(xiàn)對(duì)透視投影的幾何近似，在保持投影模型簡(jiǎn)單的同時(shí)縮小與透視投影模型之間的誤差。并在此基礎(chǔ)上根據(jù)人體結(jié)構(gòu)對(duì)參考點(diǎn)的選取進(jìn)行了優(yōu)化，提出了分組旋轉(zhuǎn)正交投影方法，即根據(jù)關(guān)節(jié)點(diǎn)之間的相對(duì)距離將人體分割成多個(gè)部分，并分別計(jì)算參考點(diǎn)和相應(yīng)的旋轉(zhuǎn)補(bǔ)償，進(jìn)一步縮小了與透視投影模型的誤差。對(duì)于姿態(tài)Z軸整體反向問(wèn)題，團(tuán)隊(duì)提出了關(guān)節(jié)反向約束，利用骨骼運(yùn)動(dòng)學(xué)先驗(yàn)增強(qiáng)對(duì)三維空間中人體姿態(tài)的監(jiān)督，彌補(bǔ)二維監(jiān)督的不足。本方法在三維人體姿態(tài)威評(píng)測(cè)數(shù)據(jù)集Human3.6M上完成了驗(yàn)證，達(dá)到了平均誤差42.9 毫米的最優(yōu)性能，相比基線自監(jiān)督方法(CanonPose)提高了34.9%。
 

團(tuán)隊(duì)三維人體姿態(tài)估計(jì)方法在Human3.6M數(shù)據(jù)集上達(dá)到最優(yōu)性能
 

　　本研究成果得到了科技部科技創(chuàng)新2030、國(guó)家自然科學(xué)基金、上海市自然基金、中國(guó)科學(xué)院青促會(huì)、上海市優(yōu)秀學(xué)術(shù)帶頭人等項(xiàng)目支持。上海微系統(tǒng)所仿生視覺(jué)系統(tǒng)實(shí)驗(yàn)室研究生姚瑤為論文第一作者，李嘉茂研究員為通訊作者。