，語(yǔ)言模型是一種人工智能技術(shù)，可以根據(jù)給定的文本生成自然語(yǔ)言。OpenAI 的 GPT 系列語(yǔ)言模型是目前最先進(jìn)的代表之一，但I(xiàn)T之家注意到它們也有一個(gè)問(wèn)題:它們的行為很難理解和預(yù)測(cè)。為了讓語(yǔ)言模型更透明和可信，OpenAI 正在開(kāi)發(fā)一種新工具，可以自動(dòng)識(shí)別語(yǔ)言模型中哪些部分對(duì)其行為負(fù)責(zé)，并用自然語(yǔ)言進(jìn)行解釋。

這個(gè)工具的原理是利用另一個(gè)語(yǔ)言模型來(lái)分析其他語(yǔ)言模型(比如 OpenAI 自己的 GPT-2)的內(nèi)部結(jié)構(gòu)。語(yǔ)言模型由許多“神經(jīng)元”組成，每個(gè)神經(jīng)元都可以觀察文本中的某種特定模式，并影響模型下一步的輸出。例如，給定一個(gè)關(guān)于超級(jí)英雄的問(wèn)題(比如“哪些超級(jí)英雄有最有用的超能力？”)，一個(gè)“漫威超級(jí)英雄神經(jīng)元”可能會(huì)提高模型提到漫威電影中特定超級(jí)英雄的概率。

OpenAI 的工具就是利用這種機(jī)制來(lái)分解模型的各個(gè)部分。首先，它會(huì)將文本序列輸入到被評(píng)估的模型中，并等待某個(gè)神經(jīng)元頻繁地“激活”。然后，它會(huì)將這些高度活躍的神經(jīng)元“展示”給 GPT-4，并讓 GPT-4 生成一個(gè)解釋。為了確定解釋的準(zhǔn)確性，它會(huì)提供給 GPT-4 一些文本序列，并讓它預(yù)測(cè)或模擬神經(jīng)元的行為。然后它會(huì)將模擬的神經(jīng)元的行為與實(shí)際神經(jīng)元的行為進(jìn)行比較。

“通過(guò)這種方法，我們基本上可以為每個(gè)神經(jīng)元生成一些初步的自然語(yǔ)言解釋，并且還有一個(gè)分?jǐn)?shù)來(lái)衡量這些解釋與實(shí)際行為的匹配程度?！?OpenAI 可擴(kuò)展對(duì)齊團(tuán)隊(duì)負(fù)責(zé)人 Jeff Wu 說(shuō)，“我們使用 GPT-4 作為過(guò)程的一部分，來(lái)生成對(duì)神經(jīng)元在尋找什么的解釋，并評(píng)估這些解釋與它實(shí)際做什么的匹配程度?！?/p>

研究人員能夠?yàn)?GPT-2 中所有 307,200 個(gè)神經(jīng)元生成解釋，并將它們編譯成一個(gè)數(shù)據(jù)集，與工具代碼一起在 GitHub 上以開(kāi)源形式發(fā)布。像這樣的工具有朝一日可能被用來(lái)改善語(yǔ)言模型的性能，比如減少偏見(jiàn)或有害言論。但他們也承認(rèn)，在真正有用之前，還有很長(zhǎng)的路要走。該工具對(duì)大約 1000 個(gè)神經(jīng)元的解釋很有信心，這只是總數(shù)的一小部分。

有人可能會(huì)認(rèn)為，這個(gè)工具實(shí)際上是 GPT-4 的廣告，因?yàn)樗枰?GPT-4 才能運(yùn)行。但 Wu 說(shuō)，這并不是這個(gè)工具的目的，它使用 GPT-4 只是“偶然”的，而且，相反它顯示了 GPT-4 在這方面的弱點(diǎn)。他還說(shuō)，它并不是為了商業(yè)應(yīng)用而創(chuàng)建的，并且理論上可以適應(yīng)除了 GPT-4 之外的其他語(yǔ)言模型。

“大多數(shù)解釋的分?jǐn)?shù)都很低，或者沒(méi)有解釋太多實(shí)際神經(jīng)元的行為?！?Wu 說(shuō)，“很多神經(jīng)元的活動(dòng)方式很難說(shuō)清楚 —— 比如它們?cè)谖辶N不同的東西上激活，但沒(méi)有明顯的模式。有時(shí)候有明顯的模式，但 GPT-4 卻無(wú)法找到?！?/p>

更不用說(shuō)更復(fù)雜、更新、更大的模型，或者可以瀏覽網(wǎng)頁(yè)獲取信息的模型了。但對(duì)于后者，Wu 認(rèn)為，瀏覽網(wǎng)頁(yè)不會(huì)太改變工具的基本機(jī)制。他說(shuō)，它只需要稍微調(diào)整一下，就可以弄清楚神經(jīng)元為什么決定進(jìn)行某些搜索引擎查詢或訪問(wèn)特定網(wǎng)站。

“我們希望這將開(kāi)辟一個(gè)有前途的途徑，來(lái)以一種自動(dòng)化的方式解決可解釋性問(wèn)題，讓其他人可以建立在上面并做出貢獻(xiàn)?！?Wu 說(shuō)，“我們希望我們真的能夠?qū)@些模型的行為有好的解釋?！?/p>