近日，計(jì)算機(jī)學(xué)院俞俊教授團(tuán)隊(duì)的兩篇論文被多媒體領(lǐng)域的CCF A類會(huì)議ACM Multimedia 錄用為長(zhǎng)文。ACM Multimedia是多媒體領(lǐng)域的國(guó)際頂級(jí)學(xué)術(shù)會(huì)議，也是中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）推薦的A類國(guó)際學(xué)術(shù)會(huì)議，本屆為第29屆會(huì)議。
論文ROSITA: Enhancing Vision-and-Language Semantic Alignments via Cross- and Intra-modal Knowledge Integration提出一種模態(tài)內(nèi)間知識(shí)協(xié)同引導(dǎo)的多模態(tài)預(yù)訓(xùn)練模型，通過構(gòu)建模態(tài)內(nèi)間細(xì)粒度關(guān)聯(lián)的統(tǒng)一場(chǎng)景圖結(jié)構(gòu)，并從中抽取包含跨模態(tài)知識(shí)子圖結(jié)構(gòu)。在此基礎(chǔ)上，設(shè)計(jì)一種知識(shí)引導(dǎo)的“結(jié)構(gòu)化遮蓋重構(gòu)”機(jī)制，有針對(duì)性地進(jìn)行知識(shí)引導(dǎo)的信息遮蓋重建，通過對(duì)模態(tài)內(nèi)緊密相關(guān)上下文進(jìn)行信息屏蔽以增強(qiáng)模型的跨模態(tài)語(yǔ)義關(guān)聯(lián)效果，有效解決現(xiàn)有多模態(tài)預(yù)訓(xùn)練方法訓(xùn)練難以實(shí)現(xiàn)細(xì)粒度語(yǔ)義對(duì)齊的難題。提出的ROSITA方法在3類不同的多模態(tài)任務(wù)6個(gè)數(shù)據(jù)集上驗(yàn)證了方法的有效性。
該項(xiàng)研究由杭州電子科技大學(xué)（第一單位）、阿里巴巴達(dá)摩院、合肥工業(yè)大學(xué)合作完成。該論文第一作者為碩士研究生崔雨豪，在校期間2次獲得國(guó)家獎(jiǎng)學(xué)金，并榮獲2021年度杭電“十佳大學(xué)生”榮譽(yù)稱號(hào)（全校唯一入選研究生），通訊作者為其指導(dǎo)教師余宙副教授，作者名單中還包含了俞俊老師等。
論文Effective De-identification Generative Adversarial Network for Face Anonymization提出一種基于去身份生成對(duì)抗網(wǎng)絡(luò)的人臉圖像身份隱私保護(hù)方法，通過將期望的人臉語(yǔ)義結(jié)構(gòu)和風(fēng)格信息翻譯為匿名圖像，有效解決現(xiàn)有方法難以平衡隱私保護(hù)水平和圖像可用性難題。人臉圖像身份隱私保護(hù)的目的在于有效地去除圖像的身份隱私信息并保留數(shù)據(jù)的可用性，在現(xiàn)實(shí)場(chǎng)景中具有諸多應(yīng)用，例如隱私數(shù)據(jù)發(fā)布以及預(yù)防視覺偽造等。在日常生活中，常用模糊化或者打馬賽克的方式去除身份信息，但這種方法隱私保護(hù)能力有限而且損壞了圖像內(nèi)容。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，在生成對(duì)抗網(wǎng)絡(luò)的幫助下，基于人臉合成的圖像匿名方法有很大的發(fā)展?jié)摿?。然而，已有方法往往忽略?shù)據(jù)處理后的可用性。本文提出了一種聯(lián)合人臉語(yǔ)義結(jié)構(gòu)和風(fēng)格信息的匿名化方法，主要利用所提出的生成器和對(duì)抗判別器的組合在隱私保護(hù)約束下完成匿名人臉合成，能夠有效提高模型的去識(shí)別能力并保持?jǐn)?shù)據(jù)的可用性。與同類方法相比，取得了優(yōu)異的效果。
該項(xiàng)研究的第一作者為媒體智能實(shí)驗(yàn)室匡振中副教授，第二作者為碩士研究生劉回歸，通訊作者為俞俊教授。
計(jì)算機(jī)學(xué)院媒體智能實(shí)驗(yàn)室（MIL）現(xiàn)有全職教師20余人，博士/碩士研究生100余名，圍繞人工智能、多媒體、計(jì)算機(jī)視覺的核心研究方向，近五年實(shí)驗(yàn)室發(fā)表高水平期刊會(huì)議100篇，其中IEEE/ACM 會(huì)刊和CCF A類會(huì)議40余篇，10余篇入選ESI高被引論文，4次獲得IEEE權(quán)威期刊/會(huì)議最佳論文獎(jiǎng)。團(tuán)隊(duì)主持國(guó)家重點(diǎn)研發(fā)計(jì)劃、國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目、科技創(chuàng)新2030重大項(xiàng)目課題在內(nèi)的20余項(xiàng)國(guó)家級(jí)項(xiàng)目。因在相關(guān)領(lǐng)域的突出貢獻(xiàn)，研究成果分別獲2020年度浙江省自然科學(xué)一等獎(jiǎng)和2018年度教育部自然科學(xué)二等獎(jiǎng)。
