你看，你面前有一面平平無奇的墻。

現(xiàn)在，你可以根據(jù)自己的意愿，讓它憑空長出東西來。

喜歡...一只小貓。

沒錯(cuò)，穩(wěn)定擴(kuò)散又能開新花！

這一次，重點(diǎn)是穩(wěn)定擴(kuò)散的觸角伸向了現(xiàn)實(shí)世界——結(jié)合WebAR。

目前這個(gè)憑空長出一只貓的視頻還是挺火的。

伴隨著新世界的開啟，部分網(wǎng)友對(duì)AR+SD更感興趣:

還有人說:

這簡直就是很酷的新版《反恐精英》！

來看看這個(gè)很酷的新東西吧~

玩SD AR

首先拿起手機(jī)，然后隨機(jī)選擇一面墻，通過屏幕界面鎖定:

選擇一個(gè)喜歡的區(qū)域，圈出并全部涂黑。

輸入提示詞:

可愛的小貓，涂鴉風(fēng)格，數(shù)字藝術(shù)。

然后點(diǎn)擊輸入框底部的擴(kuò)散按鈕，快進(jìn)到見證奇跡的時(shí)刻。

此時(shí)，無論從哪個(gè)角度看，墻上都有一張妙娜麗莎微笑著看著你的照片。

這個(gè)視頻是我小哥哥第一個(gè)用無盡火低門檻的穩(wěn)定擴(kuò)散，結(jié)合WebAR做出來的實(shí)驗(yàn)產(chǎn)品。

他在評(píng)論區(qū)和圍觀者討論具體的工作流程。

第一步是定格，用它作為生成圖像的表面紋理，讓它有一個(gè)世界定位和設(shè)備跟蹤攝像頭。

第二步，向服務(wù)器發(fā)送API請(qǐng)求，并附上凍結(jié)幀和穩(wěn)定擴(kuò)散。

在整個(gè)工作中，將穩(wěn)定擴(kuò)散嵌入到現(xiàn)實(shí)世界是由AR完成的。

對(duì)于繪制紋理，哥哥用的是Raycast。

整個(gè)過程簡潔利落，引發(fā)了網(wǎng)友的新思考。

目前有很多有趣的NPU硬件，手機(jī)共享內(nèi)存超過12GB。

在這個(gè)前提下，如果Stable Diffusion和AR可以一起玩這個(gè)作業(yè)，并在本地運(yùn)行，它可以在類似的請(qǐng)求時(shí)間內(nèi)完成整個(gè)512x512圖像生成，并在更快的AI上運(yùn)行升級(jí)，這將是非常有趣的。

小哥自己也說了，這份工作只是第一次嘗試，一切都只是穩(wěn)定擴(kuò)散和AR結(jié)合的開始。

但大部分網(wǎng)友認(rèn)為這已經(jīng)是很有趣的工作了，甚至想在上面涂鴉幾個(gè)小時(shí)。

AIGC打破了次生壁

穩(wěn)定擴(kuò)散之風(fēng)吹向現(xiàn)實(shí)世界，絕不是哥哥一個(gè)人的想法。

具體操作過程基本在原有基礎(chǔ)上加持了AR。

就在前幾天，另一個(gè)小哥用穩(wěn)定擴(kuò)散做了一個(gè)視頻透視光學(xué)透視眼鏡。

具體來說就是小哥哥做了一個(gè)擴(kuò)散穩(wěn)定的虛擬AR眼鏡，然后通過手機(jī)屏幕上的眼鏡鏡片實(shí)現(xiàn)AR效果。

生成的虛擬AR眼睛不僅有力量提示，還能展現(xiàn)出westworld，叢林，外星人等多種畫面風(fēng)格。

此外，還有人結(jié)合Meta旗下的AR創(chuàng)作工具Spark AR，利用穩(wěn)定擴(kuò)散來假裝自己拿著一個(gè)小方塊牌。

你知道，上面有動(dòng)畫的那種。

但是這種穩(wěn)定擴(kuò)散產(chǎn)生的圖像并不是實(shí)時(shí)生成的，而是提前錄制的，因?yàn)槟壳暗腟park AR版本還不支持AI和ML。

非常好，通過穩(wěn)定的擴(kuò)散，AI和AR又一次緊密相連。

反正穩(wěn)定擴(kuò)散這么火，不僅僅是因?yàn)樾Ч@人，還因?yàn)樗|及到文本生成圖像以外的領(lǐng)域時(shí)非常厲害~

參考鏈接: