英特爾AI模型可根據(jù)文本生成3D圖像-世界時(shí)訊

2023-06-27 09:55:33來源：人民郵電報(bào)

(資料圖)

英特爾研究院日前宣布與Blockade Labs合作發(fā)布LDM3D模型，這一全新的擴(kuò)散模型使用生成式AI創(chuàng)建3D視覺內(nèi)容。LDM3D是業(yè)界領(lǐng)先的利用擴(kuò)散過程生成深度圖的模型，進(jìn)而生成逼真的、沉浸式的360度全景圖。LDM3D有望革新內(nèi)容創(chuàng)作、元宇宙應(yīng)用和數(shù)字體驗(yàn)，改變包括娛樂、游戲、建筑和設(shè)計(jì)在內(nèi)的許多行業(yè)。

英特爾致力于推動(dòng)AI普及，通過開放的生態(tài)系統(tǒng)讓更多人從這項(xiàng)技術(shù)中受益。計(jì)算機(jī)視覺領(lǐng)域近年來取得了重大進(jìn)展，特別是在生成式AI方面。然而，當(dāng)今許多先進(jìn)的生成式AI模型只能生成2D圖像。與通常只能根據(jù)文本提示生成2D RGB圖像的現(xiàn)有擴(kuò)散模型不同，LDM3D可以根據(jù)用戶給定的文本提示同時(shí)生成圖像和深度圖。與深度估計(jì)中的標(biāo)準(zhǔn)后處理方法相比，LDM3D在使用與潛在擴(kuò)散模型Stable Diffusion幾乎相同數(shù)量參數(shù)的情況下，能夠?yàn)閳D像中的每個(gè)像素提供更精準(zhǔn)的相對(duì)深度，增強(qiáng)人類創(chuàng)造力并節(jié)省時(shí)間。

這項(xiàng)研究有望改變用戶與數(shù)字內(nèi)容的互動(dòng)方式，基于文本提示為用戶提供全新的體驗(yàn)。LDM3D生成的圖像和深度圖能夠?qū)⒅T如寧靜的熱帶海灘、摩天大樓、科幻宇宙等文本描述轉(zhuǎn)化為細(xì)致的360度全景圖。LDM3D捕捉深度信息的能力，可以即時(shí)增強(qiáng)整體真實(shí)感和沉浸感，使各行各業(yè)的創(chuàng)新應(yīng)用成為可能，包括娛樂、游戲、室內(nèi)設(shè)計(jì)、房產(chǎn)銷售，以及虛擬博物館與沉浸式VR體驗(yàn)等。

LDM3D是在LAION- 400M數(shù)據(jù)集包含1萬個(gè)樣本的子集上訓(xùn)練而成的。LAION-400M是一個(gè)大型圖文數(shù)據(jù)集，包含超過4億組圖文對(duì)。對(duì)訓(xùn)練語料庫進(jìn)行標(biāo)注時(shí)，研究團(tuán)隊(duì)使用了之前由英特爾研究院開發(fā)的稠密深度估計(jì)模型DPT-Large，為圖像中的每個(gè)像素提供了高度準(zhǔn)確的相對(duì)深度。LAION-400M數(shù)據(jù)集是基于研究用途創(chuàng)建而成的，以便廣大研究人員和其他興趣社群能在更大規(guī)模上測試訓(xùn)練模型。

標(biāo)簽：