顏成鋼教授團隊與京東探索研究院合作的題為Gait Recognition in the Wild with Dense 3D Representations and A Benchmark的論文,被計算機視覺頂級國際學術會議CVPR接收。本文的作者為鄭錦凱、劉鑫辰、劉武、何凌霄、顏成鋼和梅濤。
文章第一作者鄭錦凱表示,現(xiàn)有步態(tài)識別研究主要關注于人體輪廓序列或關鍵點序列等二維特征表達。然而,人們生活(行走)在三維空間中,將三維人體投影到二維平面會丟失許多步態(tài)識別所需的視角、體型和步態(tài)的動態(tài)信息等關鍵信息。因此,本研究旨在探索真實場景下基于密集三維表征的步態(tài)識別的問題。團隊提出一個探索3D人體骨骼蒙皮模型(3D Skinned Multi-Person Linear (SMPL) model)在步態(tài)識別上可行性的新框架,稱為SMPLGait。SMPLGait通過兩個精心設計的分支,分別從人體輪廓中提取外觀特征,及從3D SMPL中學習三維視角和體型的先驗知識。此外,由于缺乏合適的數(shù)據(jù)集,我們構建了第一個基于三維表示的自然場景大規(guī)模步態(tài)識別數(shù)據(jù)集,名為Gait3D。它包含4000個行人對象和超過25000個步態(tài)序列。Gait3D采集自一個無約束的真實室內(nèi)場景中的39個攝像頭,提供了從視頻幀中恢復的3D SMPL數(shù)據(jù),可支持密集人體體型、三維視角和步態(tài)動態(tài)信息的三維建模。此外,它還提供了二維人體輪廓和人體關鍵點數(shù)據(jù),可幫助研究者們探索多模態(tài)步態(tài)識別?;贕ait3D,我們?nèi)姹容^分析了本文提出的SMPLGait方法和現(xiàn)有步態(tài)識別方法,實驗結果不僅證明我們的方法具有更好的步態(tài)識別準確性,也顯示出三維特征表示在真實場景的步態(tài)識別問題中的巨大潛力。
鄭錦凱同學是杭電智能信息處理實驗的碩博連讀研究生,該實驗室成立于2016年,由顏成鋼教授領銜,并與美國北卡羅來納大學教堂山分校、中國科學院、清華大學、京東AI研究院等國內(nèi)外多家科研院所有長期密切的合作,近年來培養(yǎng)出多名優(yōu)秀學生。