小時(shí)候，小編最喜歡上的就是美術(shù)課。

給我一盒 24 色的水彩筆，我能坐一下午不帶起來(lái)的。

因?yàn)?，?duì)于每個(gè)人來(lái)說(shuō)，從小到大，在白紙上肆意涂抹、創(chuàng)造、發(fā)揮的感覺都是非常美妙的。

可以理解為情緒的宣泄口，也可以飽含對(duì)未來(lái)的暢想。

今天，Meta 推出了一個(gè)全新的 AI 系統(tǒng)，可以把我們隨手在紙上畫的涂鴉變成活靈活現(xiàn)的動(dòng)漫。

小時(shí)候就幻想過自己筆下的人物能跳出紙張動(dòng)起來(lái)，而 Meta 幫我們實(shí)現(xiàn)了這個(gè)美好幻想。

而實(shí)現(xiàn)的過程也沒那么復(fù)雜。

Meta 有一個(gè)包含 18 萬(wàn)張的日常隨手繪畫的數(shù)據(jù)集，還有一整套動(dòng)畫的代碼。而該數(shù)據(jù)集也是全球首個(gè)以涂鴉這種藝術(shù)品為特征的帶注釋數(shù)據(jù)集。

這里有一個(gè)概念要搞明白。

人們通過繪畫來(lái)表達(dá)自己這點(diǎn)不假，但是繪畫和繪畫也是有不同的。對(duì)于 AI 來(lái)說(shuō)，重要的是學(xué)習(xí)。如果沒有含義明確的表達(dá)，那么對(duì) AI 來(lái)說(shuō)學(xué)習(xí)起來(lái)就會(huì)比較困難。

所以才有了這么一個(gè) 18 萬(wàn)張涂鴉的大數(shù)據(jù)集。有了這么一個(gè)數(shù)據(jù)集，研究人員就可以開發(fā)出相應(yīng)的工具，更容易、準(zhǔn)確地分析不同涂鴉中的內(nèi)容。

然后，用戶就會(huì)收到一小段由自己上傳的繪畫中人物的動(dòng)畫。

當(dāng)時(shí)，Meta 只能做到讓涂鴉中的人物做一組簡(jiǎn)單的動(dòng)作，用戶們反饋說(shuō)希望能上線更多功能。比如能讓包含多個(gè)人物的涂鴉作品也動(dòng)起來(lái)，又比如讓涂鴉人物做一些更高難度的動(dòng)作，或者眨眨眼什么的。

有了這些資源，研究人員也就可以進(jìn)一步補(bǔ)充分析這些涂鴉的方法，以此來(lái)擴(kuò)展原有的功能。

甚至還可以給小人添加背景，讓涂鴉在環(huán)境中舞蹈。

能跑能跳，活靈活現(xiàn)

上面提到過，涂鴉這種形式涉及的內(nèi)容過于千奇百怪，每個(gè)人筆下的涂鴉都是獨(dú)一無(wú)二的。

那么在這種情況下，如何訓(xùn)練模型就是問題的關(guān)鍵所在。

Meta 表示，常見的兩種方法，第一種是使用帶注釋的畫作來(lái)訓(xùn)練新模型。但這種辦法的問題在于，帶注釋的畫作太少了，人們上傳的可能僅僅是一張涂鴉而已，并不帶有注釋。這樣一來(lái)，訓(xùn)練神經(jīng)網(wǎng)絡(luò)的素材就沒有那么多。

第二種方式則是通過合成的方式作畫，比如說(shuō)把照片用素描的形式重做。但這種方式也存在問題。

生成法進(jìn)行訓(xùn)練需要大量的樣本數(shù)據(jù)來(lái)學(xué)習(xí)，上述的辦法也許做不到捕捉繪畫與照片之間所有的差別。此外，用這種方法來(lái)生成供學(xué)習(xí)的數(shù)據(jù)，可能無(wú)法捕捉到一些繪畫才有的細(xì)節(jié)，比如紙張折痕、用橡皮擦去的線條、陰影等等。

最終，Meta 選擇的辦法是把整個(gè)任務(wù)進(jìn)行拆分，包括一系列子任務(wù)，人物檢測(cè)、涂鴉分割、姿勢(shì)預(yù)測(cè)，以及生成動(dòng)畫。

在用戶選擇上傳涂鴉到系統(tǒng)上以后，他們可以自行選擇邊框位置，確定人物關(guān)節(jié)的位置等等，最后可以選擇一個(gè)動(dòng)作來(lái)生成動(dòng)畫。

甚至，可供選擇的動(dòng)作還有很多，這就看用戶個(gè)人了。

Meta 的系統(tǒng)結(jié)合了用拍攝的照片上訓(xùn)練的計(jì)算機(jī)視覺模型，同時(shí)由于涂鴉和照片之間的差別，Meta 進(jìn)一步使用 18 萬(wàn)張的數(shù)據(jù)集微調(diào)模型。

而有了這個(gè)數(shù)據(jù)集和生成動(dòng)畫的代碼以后，Meta 相信隨手創(chuàng)作的繪畫領(lǐng)域未來(lái)會(huì)激發(fā)更多的創(chuàng)作者加入。

那么這個(gè)數(shù)據(jù)集是怎么建立的呢？

和 21 年的項(xiàng)目差不多，Meta 建立數(shù)據(jù)集的方式還是靠用戶上傳。

Meta 在隱私這方面做得不錯(cuò)，人們可以選擇上傳圖像 + 注釋用于 Meta 的研究，同時(shí) Meta 對(duì)這些上傳的信息持有非常謹(jǐn)慎的態(tài)度，盡可能減少了數(shù)據(jù)被濫用的可能。

此外，對(duì)上傳數(shù)據(jù)的篩選工作也十分重要。因?yàn)檫@一次的項(xiàng)目主打的就是把涂鴉變成動(dòng)畫，所以非涂鴉的圖像要被 Meta 的審查員篩掉。

包含泄密、粗俗文字的內(nèi)容更不用說(shuō)，必須篩掉。

人人都是創(chuàng)作家

有了這么個(gè)好用的工具，人人都可以成為一名藝術(shù)創(chuàng)作家。

畢竟，能看到自己筆下的人物栩栩如生的動(dòng)起來(lái)，能當(dāng)一回神筆馬良，想必也是一件很酷的事情吧！

參考資料: