顏成鋼教授團(tuán)隊(duì)與京東探索研究院合作的題為Gait Recognition in the Wild with Dense 3D Representations and A Benchmark的論文,被計(jì)算機(jī)視覺頂級(jí)國際學(xué)術(shù)會(huì)議CVPR接收。本文的作者為鄭錦凱、劉鑫辰、劉武、何凌霄、顏成鋼和梅濤。
文章第一作者鄭錦凱表示,現(xiàn)有步態(tài)識(shí)別研究主要關(guān)注于人體輪廓序列或關(guān)鍵點(diǎn)序列等二維特征表達(dá)。然而,人們生活(行走)在三維空間中,將三維人體投影到二維平面會(huì)丟失許多步態(tài)識(shí)別所需的視角、體型和步態(tài)的動(dòng)態(tài)信息等關(guān)鍵信息。因此,本研究旨在探索真實(shí)場景下基于密集三維表征的步態(tài)識(shí)別的問題。團(tuán)隊(duì)提出一個(gè)探索3D人體骨骼蒙皮模型(3D Skinned Multi-Person Linear (SMPL) model)在步態(tài)識(shí)別上可行性的新框架,稱為SMPLGait。SMPLGait通過兩個(gè)精心設(shè)計(jì)的分支,分別從人體輪廓中提取外觀特征,及從3D SMPL中學(xué)習(xí)三維視角和體型的先驗(yàn)知識(shí)。此外,由于缺乏合適的數(shù)據(jù)集,我們構(gòu)建了第一個(gè)基于三維表示的自然場景大規(guī)模步態(tài)識(shí)別數(shù)據(jù)集,名為Gait3D。它包含4000個(gè)行人對(duì)象和超過25000個(gè)步態(tài)序列。Gait3D采集自一個(gè)無約束的真實(shí)室內(nèi)場景中的39個(gè)攝像頭,提供了從視頻幀中恢復(fù)的3D SMPL數(shù)據(jù),可支持密集人體體型、三維視角和步態(tài)動(dòng)態(tài)信息的三維建模。此外,它還提供了二維人體輪廓和人體關(guān)鍵點(diǎn)數(shù)據(jù),可幫助研究者們探索多模態(tài)步態(tài)識(shí)別?;贕ait3D,我們?nèi)姹容^分析了本文提出的SMPLGait方法和現(xiàn)有步態(tài)識(shí)別方法,實(shí)驗(yàn)結(jié)果不僅證明我們的方法具有更好的步態(tài)識(shí)別準(zhǔn)確性,也顯示出三維特征表示在真實(shí)場景的步態(tài)識(shí)別問題中的巨大潛力。
鄭錦凱同學(xué)是杭電智能信息處理實(shí)驗(yàn)的碩博連讀研究生,該實(shí)驗(yàn)室成立于2016年,由顏成鋼教授領(lǐng)銜,并與美國北卡羅來納大學(xué)教堂山分校、中國科學(xué)院、清華大學(xué)、京東AI研究院等國內(nèi)外多家科研院所有長期密切的合作,近年來培養(yǎng)出多名優(yōu)秀學(xué)生。