第32屆ACM國(guó)際多媒體會(huì)議（ACM Multimedia）于10月28日至11月1日在澳大利亞墨爾本舉行。我校智能信息處理團(tuán)隊(duì)的論文《From Speaker to Dubber: Movie Dubbing with Prosody and Duration Consistency Learning》被大會(huì)錄用并獲最佳論文獎(jiǎng)。論文第一作者為通信工程學(xué)院2024級(jí)博士研究生張哲東，主要指導(dǎo)老師為我校顏成鋼教授和中國(guó)科學(xué)院計(jì)算所李亮研究員。該項(xiàng)研究由杭州電子科技大學(xué)、中國(guó)科學(xué)院計(jì)算所、杭州電子科技大學(xué)麗水研究院、澳大利亞阿德萊德大學(xué)和麥考瑞大學(xué)合作完成。
該項(xiàng)研究聚焦于電影配音任務(wù)（Movie Dubbing），提出了一種兩階段的配音方法，先在大規(guī)模文本-語(yǔ)音語(yǔ)料庫(kù)上預(yù)訓(xùn)練音素編碼器從而學(xué)習(xí)清晰自然的發(fā)音特征，再通過(guò)韻律一致性學(xué)習(xí)模塊和發(fā)音持續(xù)時(shí)間一致性推理模塊，將角色情緒特征與音素級(jí)的韻律屬性結(jié)合起來(lái)，并確保配音的視聽(tīng)一致性。這一方法在基準(zhǔn)和泛化實(shí)驗(yàn)中均展現(xiàn)出優(yōu)異的性能。
ACM Multimedia是多媒體領(lǐng)域的國(guó)際頂級(jí)會(huì)議、CCF 推薦的A類會(huì)議。本次大會(huì)共收到4385篇論文投稿，其中1149篇論文被會(huì)議錄用，174篇論文被邀請(qǐng)作口頭報(bào)告、比例僅為3.97%，競(jìng)爭(zhēng)非常激烈。作為大會(huì)唯一最佳論文并被邀請(qǐng)作口頭報(bào)告，張哲東的研究在這一高水平平臺(tái)上脫穎而出，展示了我校在多媒體研究領(lǐng)域的強(qiáng)大科研實(shí)力和創(chuàng)新能力。
