12日，華中科技大學(xué)人工智能與自動化學(xué)、多譜信息智能處理技術(shù)重點(diǎn)實(shí)驗(yàn)室顏露新教授團(tuán)隊(duì)在生成范式神經(jīng)形態(tài)視覺運(yùn)動感知方面的工作“Injecting Frame-Event Complementary FusionWWW.shhzy3.cn/into Diffusion for Optical Flow in Challenging Scenes”，被人工智能領(lǐng)域*會議The Thirty-Ninth AnnualConference 、WWW.shzy4.com/on Neural InformationWWW.shyb118.comProcessing Systems(NeurIPS)接收為亮點(diǎn)(spotlight)論文。該研究探索了神經(jīng)形態(tài)視覺傳感器與幀相機(jī)之間的互補(bǔ)機(jī)制，提出了生成式模型的跨模態(tài)融合運(yùn)動估計(jì)方法，其性能在低光、高速等挑戰(zhàn)性場景*。
 
  以事件相機(jī)為代表的神經(jīng)形態(tài)視覺傳感器具有寬動態(tài)范圍和高時間分辨率的優(yōu)勢，上海自動化3廠在低光、高速等極端場景表現(xiàn)出優(yōu)越的成像性能；擴(kuò)散模型在退化場景的圖像生成領(lǐng)域應(yīng)用廣泛，而在下游視覺任務(wù)尚缺探索。研究團(tuán)隊(duì)圍繞極端退化場景運(yùn)動估計(jì)任務(wù)，研究了事件相機(jī)與幀相機(jī)之間的表觀-邊緣互補(bǔ)性，構(gòu)建了以互補(bǔ)融合特征為條件的擴(kuò)散模型，迭代生成退化場景的高質(zhì)量運(yùn)動場。

圖為基于擴(kuò)散模型的跨模態(tài)融合生成運(yùn)動估計(jì)。
 
  該研究成果具備廣闊應(yīng)用前景。在上海儀表4廠自動駕駛、工業(yè)檢測和機(jī)器人等應(yīng)用場景，該技術(shù)可在夜間、高速環(huán)境下實(shí)現(xiàn)穩(wěn)健的運(yùn)動感知與微秒級實(shí)時監(jiān)測，支撐動態(tài)目標(biāo)檢測、高速避障和精密制造中的質(zhì)量控制；在生命科學(xué)與醫(yī)學(xué)成像領(lǐng)域，它有望輔助神經(jīng)活動追蹤和顯微尺度的快速運(yùn)動觀測，為神經(jīng)科學(xué)研究與醫(yī)療診斷提供新工具。
  華中科技大學(xué)人工智能與自動化學(xué)2025級直博生王浩楠為論文*作者，博士畢業(yè)生周寒宇(現(xiàn)在新加坡國立大學(xué)從事博士后研究)和博士生劉昊岳深度參與相關(guān)工作。論文工作得到*自然科學(xué)基金聯(lián)合基金重點(diǎn)項(xiàng)目(U24B20139)資助。