今年一月，英裔美籍計算機科學(xué)家Stuart Russell起草了一份公開(kāi)信，他也是這份公開(kāi)信首位簽署人，在這份公開(kāi)信中，Stuart Russell呼吁研究人員，雖然當前大家的目標是希望人工智能變得強大，但千萬(wàn)不要鼠目寸光，局限在這個(gè)目標上面。在這份公開(kāi)信中寫(xiě)道，“我們提醒研究人員注意，隨著(zhù)人工智能系統的能力越來(lái)越強大，我們希望這個(gè)系統更加穩定，同時(shí)也要對人類(lèi)有益。我們的人工智能系統，必須要做人類(lèi)要求它們做的東西。”目前，已經(jīng)有數千人在這份公開(kāi)信上簽名，包括谷歌，Facebook，微軟公司內研究人工智能的專(zhuān)家，以及全球其他行業(yè)中心里的頂尖計算機科學(xué)家，物理學(xué)家，以及哲學(xué)家。在今年三月底，大約有300名研究人員開(kāi)啟了一項新研究，希望讓人工智能對人類(lèi)更加有益，而資助這份研究的資金則是由該公開(kāi)信的第37位簽署人贊助的，他就是現實(shí)版“鋼鐵俠”Elon Musk。

Russell今年53歲，是加州大學(xué)伯克利分校人工智能系統中心創(chuàng )始人兼計算機科學(xué)專(zhuān)業(yè)教授，他一直在關(guān)注人工智能的發(fā)展和影響。Russell寫(xiě)了200多頁(yè)的論文，同時(shí)他還是人工智能領(lǐng)域里“標準教科書(shū)”-----《人工智能：一種現代化方法》作者（谷歌研究主管Peter Norvig也是該書(shū)作者）。但是，隨著(zhù)人工智能發(fā)展的速度越來(lái)越快，加劇了Russell對這一領(lǐng)域的擔憂(yōu)。

近日他表示，人工智能有了很大跨越，很大程度上是因為神經(jīng)網(wǎng)絡(luò )學(xué)習算法有了質(zhì)的飛躍。相關(guān)技術(shù)已經(jīng)應用在Facebook的人臉識別軟件，智能手機的私人助手應用，以及谷歌的自動(dòng)駕駛汽車(chē)上面了。還有一個(gè)現實(shí)中的例子，根據《自然》雜志上最近刊登的一項研究成果，一個(gè)人工神經(jīng)模擬網(wǎng)絡(luò )學(xué)習玩兒雅達利公司的視頻游戲，結果玩兒的竟然比人類(lèi)還要好，這也引起了業(yè)界震動(dòng)。“如果這發(fā)生在一個(gè)剛出生的孩子身上，你會(huì )認為，這是與生俱來(lái)的。”Russell說(shuō)到。

今年，在德克薩斯州圣安東尼奧市舉辦的美國物理學(xué)會(huì )2015年會(huì )上，Russell接受了Quanta Magazine的采訪(fǎng)，并談?wù)摿酥悄鼙举|(zhì)和人工智能安全的巨大挑戰。

你認為，人工智能的目標就是要能證明它能符合人類(lèi)價(jià)值觀(guān)，這意味著(zhù)什么？

這么說(shuō)真有點(diǎn)兒氣人吶，這里把兩件事情放在在了一起，一個(gè)是要“能證明”，另一個(gè)是“人類(lèi)價(jià)值觀(guān)”，它們貌似就是非常矛盾的。人類(lèi)價(jià)值觀(guān)本身就多少存在一些神秘，從某種程度上，我們的價(jià)值觀(guān)會(huì )在行為上有所表現，你可能希望證明機器也能做出絕大多數類(lèi)似的行為吧?；蛟S，機器會(huì )有一些零碎的東西無(wú)法理解，而實(shí)際上，就連人類(lèi)自己有時(shí)都不太認可彼此。不過(guò)，只要機器能夠獲得基本權利，你可能就會(huì )發(fā)現它們其實(shí)并不是非常有害的。

你會(huì )如何著(zhù)手實(shí)現這些？

這個(gè)問(wèn)題其實(shí)就是我現在的工作：機器需要在什么地方擁有一些近似于價(jià)值觀(guān)的東西呢？重要的是，這些價(jià)值觀(guān)必須是人類(lèi)希望他們擁有的。我認為答案就是一種名叫“逆向增強學(xué)習”的技術(shù)。普通的增強學(xué)習是一種過(guò)程，你會(huì )根據自己的表現得到一定的獎勵和懲罰，你的目標就是要識別出一些能讓你獲得最多獎勵的行為。這就是【雅達利游戲公司】DQN系統正在做的事情；它給每個(gè)游戲分數，而這套系統的目標，就是要讓分數變得越來(lái)越大。逆向增強學(xué)習恰恰與之相反，你會(huì )發(fā)現一些行為，然后你需要嘗試搞清楚這種行為嘗試最大化的那個(gè)分數是多少。舉個(gè)例子，你的家用機器人看到你早上從床上爬起來(lái)，然后把一些褐色的玩意兒放進(jìn)一臺噪音很大的機器里磨碎，然后再把一些蒸汽、熱水、牛奶和這個(gè)液體混合在一起，一飲而盡之后，精神就會(huì )變得非常好。此時(shí)，逆向增強學(xué)習技術(shù)就需要學(xué)習，這其實(shí)就是人類(lèi)在清晨?jì)r(jià)值功能的一部分，因為他們需要喝咖啡。

關(guān)于人類(lèi)行為和行為態(tài)度，在書(shū)本、電影、已經(jīng)互聯(lián)網(wǎng)之外，其實(shí)存在著(zhù)大量信息。因此，當涉及到人類(lèi)價(jià)值時(shí)，機器需要學(xué)習的資源是非常龐大的，比如誰(shuí)贏(yíng)了比賽金牌，誰(shuí)去坐牢，以及為什么會(huì )這樣。

您是怎么進(jìn)入到人工智能這一領(lǐng)域里的？

當我還在學(xué)習讀書(shū)的時(shí)候，總體來(lái)說(shuō)，人工智能還不是一種正式的學(xué)術(shù)科目。但是當時(shí)我所在的是倫敦的一家公立寄宿學(xué)校，位于圣保羅，所以我的時(shí)間沒(méi)有花在打英式橄欖球上，相反，在附近的一所高校里，我學(xué)習了計算機科學(xué)A-level課程。我當時(shí)為A-level課程準備了一個(gè)項目，就是編了一個(gè)程序教自己下井字棋，或是一字棋。當時(shí)我在那里并不受到人們歡迎，因為我總是一連幾個(gè)小時(shí)霸占著(zhù)學(xué)校里的計算機。第二年，我寫(xiě)了一個(gè)國際象棋程序，同時(shí)也獲得了帝國理工大學(xué)教授的許可，可以使用他們學(xué)校里的大型計算機。搞清楚計算機如何學(xué)習下棋真的太有意思了，我學(xué)到了很多今后會(huì )在書(shū)本上學(xué)到的東西。

不過(guò)怎么說(shuō)呢，當時(shí)我還只是把這個(gè)當做是一個(gè)愛(ài)好；因為當時(shí)我最感興趣的學(xué)科專(zhuān)業(yè)是物理。我在牛津大學(xué)學(xué)習了物理學(xué)，之后當我申請讀研究生的時(shí)候，也是申請了在牛津和劍橋繼續攻讀理論物理專(zhuān)業(yè)。后來(lái)我又申請了麻省理工學(xué)院，卡耐基-梅隆大學(xué)和斯坦福大學(xué)三所高校的計算機科學(xué)專(zhuān)業(yè)，但不幸的是，當時(shí)我錯過(guò)了申請截止日期，好在斯坦福大學(xué)網(wǎng)開(kāi)一面，于是我來(lái)到了斯坦福大學(xué)。

所以，您來(lái)美國之后就一直生活在西海岸？

是的。

在您整個(gè)職業(yè)生涯里，花了大量時(shí)間嘗試理解人工智能是什么，這也是搞清楚機器會(huì )如何實(shí)現人工智能的先決條件。從中您學(xué)到了些什么？

在上世紀80年代，我進(jìn)行了理論研究，當時(shí)我開(kāi)始思考制定理性決策，但問(wèn)題是，這個(gè)問(wèn)題是不可能解決的。如果你非常理性，你可能會(huì )向：這是我目前的狀態(tài)，這是我現在能做的行為，之后我可以做那些行為，接著(zhù)是那些行為，再接著(zhù)又是那些行為。哪條路徑能確保實(shí)現我的目標呢？理性行為的定義，要求你去優(yōu)化整個(gè)宇宙的未來(lái)，這靠計算是根本不可能實(shí)現的。

在人工智能中，也有些事情是不可能實(shí)現的，因此我們去定義那些我們正在嘗試所做的事情，其實(shí)根本沒(méi)有什么意義，所以，我決定嘗試搞明白：我們究竟是如何做決策的？

那么，我們是怎么做的呢？

這里有一個(gè)技巧，你可以去思考一個(gè)短期預測，然后再去猜測未來(lái)會(huì )是什么樣子。因此，舉個(gè)例子，在國際象棋程序里，如果他們非常理性，那么他們就只會(huì )走那些能確保將死對方的棋，但實(shí)際上，他們并不會(huì )這么做。他們會(huì )算一下未來(lái)要走的幾步棋，然后再猜測一下，如果這么走，對于當前自己的棋局是否有幫助，最后，他們會(huì )選擇走一步對自己當前棋局最為有利的一步棋。

“你能證明你的系統，無(wú)論他們有多么智能，都不會(huì )重寫(xiě)系統內部最初由人類(lèi)設置的那個(gè)目標嗎？”

實(shí)際上，真正需要重點(diǎn)考慮的另一件事情，就是在多個(gè)抽象級別里的決策問(wèn)題，也就是所謂的“分層決策”。在一個(gè)人一生之中，大約要做20萬(wàn)億個(gè)物理動(dòng)作。舉個(gè)例子，在本屆大會(huì )上做一次演講，需要作出大約13億個(gè)物理動(dòng)作。如果你是理性的，那么就會(huì )預先想好會(huì )怎么做這13億個(gè)物理動(dòng)作，顯然，這非?；闹?，同樣也是不可能實(shí)現的。因此，如果人們想要能夠進(jìn)行目標管理，就需要非常豐富的高層次抽象行為庫。你走路的時(shí)候會(huì )去想，“首先我要么移動(dòng)我的左腳，要么移動(dòng)我的右腳，之后我要么移動(dòng)…”會(huì )這樣想嗎？顯然不會(huì )。那么你會(huì )想些什么呢？你會(huì )想“我得趕緊去艾派迪旅游公司，然后訂一個(gè)航班。當我落地之后，我要打個(gè)的。”這才是人類(lèi)會(huì )想的東西。在我的飛機實(shí)際落地之前，我是不會(huì )去想任何東西的，也不會(huì )去找出租車(chē)標記，或是叫車(chē)，但是當我落地之后，我會(huì )需要更多細節?；旧?，這才是我們真正的生活，未來(lái)是鋪開(kāi)的，很多細節能夠及時(shí)的靠近我們，但是很多大塊、或是人生的大方向卻是非常抽象的，比如“我要考博士”，“我要生孩子”，等等。

目前的計算機能做分層決策嗎？

這正是目前人工智能所缺失的那一部分，所有這些高級別行為都來(lái)自什么地方？我們不認為像DQN網(wǎng)絡(luò )這樣的程序可以識別行為的抽象表達。有一些游戲，DQN還不知道怎么玩兒，那些難度較高的游戲需要在原始行為表現的基礎上，向前思考很多很多步，舉個(gè)例子，如果一個(gè)人想，“哦！我現在需要做的，是去開(kāi)門(mén)。”，而開(kāi)門(mén)則需要涉及到拿鑰匙，等等。如果機器沒(méi)有“開(kāi)門(mén)”這個(gè)行為表現，那么在這個(gè)任務(wù)上就不會(huì )有任何進(jìn)展。

但是，如果問(wèn)題被解決（當然這幾乎是不可能的），那么我們就會(huì )看到機器能力將得到極大的提升。我個(gè)人其實(shí)也不太確定，在人類(lèi)級別的人工智能和計算機分層決策問(wèn)題之間的主要障礙是什么。

對于人類(lèi)級別人工智能的可能性，您關(guān)注的是什么？

1994年，在我首版書(shū)中有一個(gè)章節，題目叫做“如果我們成功了會(huì )怎樣？”因為在我看來(lái)，對于人工智能似乎大家還沒(méi)有真正思考過(guò)這個(gè)問(wèn)題?；蛟S可能因為這距離我們非常遙遠，但很顯然，如果人工智能獲得成功，那無(wú)疑將會(huì )是一件大事，甚至會(huì )是人類(lèi)歷史上最重大的事件，我們需要用一種較好的方式去描述它。如果這事兒真的成了，那么我們就需要做非常多的思考，至少，要比我們現在正在思考未來(lái)會(huì )是什么樣多得多。

智能爆炸的基本概念，就是一旦機器獲得了一定級別的智能水平，他們就能在人工智能上工作，就像我們做的那樣，同時(shí)還會(huì )提升他們自己的能力，重新設計他們自己的硬件，等等。同時(shí)，他們的智能將會(huì )破紀錄般地被放大。在過(guò)去的幾年里，人工智能圈子已經(jīng)逐漸開(kāi)始重新定義人類(lèi)級別人工智能參數（這可能會(huì )是個(gè)問(wèn)題），其中最令人信服的參數必須是要和價(jià)值參數有關(guān)：你構建了而一個(gè)系統，在優(yōu)化效用函數上表現的非常好，但是效用函數并不是非常正確的。牛津大學(xué)哲學(xué)家Nick Bostrom寫(xiě)了一本書(shū)，叫做《超級智能》，他用回紋針作為例子，你說(shuō)，“做些回紋針”。它就將整個(gè)星球變成一個(gè)巨大的回紋針堆積場(chǎng)。你構建了一個(gè)超級優(yōu)化程序；你會(huì )給它什么樣的效用函數呢？因為這個(gè)程序就要打算這么干了！

人類(lèi)價(jià)值觀(guān)的差異呢？

那是個(gè)內在問(wèn)題。你可以說(shuō)，當有某個(gè)領(lǐng)域出現了價(jià)值觀(guān)沖突的時(shí)候，機器應該寧可什么都不做。但這是很難實(shí)現的。我認為，我們不得不在某些價(jià)值功能的基礎上構建人工智能。如果你想要一個(gè)家庭機器人，它就必須要很好地分享人類(lèi)價(jià)值觀(guān)的不同部分，否則它很可能會(huì )做一些非常愚蠢的事情，比如當孩子肚子餓了，并且冰箱里沒(méi)有食物了，它可能就會(huì )把貓放進(jìn)烤箱里做晚飯?，F實(shí)生活中充滿(mǎn)了類(lèi)似的權衡，如果機器可以有一些折中的方式，那么它們在生活中就不會(huì )做出那些愚蠢的事情。

從某種意義上來(lái)說(shuō)，在價(jià)值觀(guān)領(lǐng)域里，我沒(méi)有看到任何的解決方案。我同時(shí)還覺(jué)得，如果人工智能可以判斷正確的人類(lèi)價(jià)值觀(guān)，那么可能會(huì )帶來(lái)巨大的經(jīng)濟利益。舉個(gè)例子，一旦家庭機器人做出一兩次愚蠢的事情，如同前文講的把貓放進(jìn)烤箱，那么人們肯定再也不會(huì )買(mǎi)這種類(lèi)型的機器人了。

但同時(shí)還有一個(gè)問(wèn)題，如果智能系統自我表現行為符合人類(lèi)價(jià)值觀(guān)，那么人類(lèi)就會(huì )過(guò)渡到越來(lái)越多的智能系統上面，這是否意味著(zhù)人類(lèi)自己的價(jià)值觀(guān)要變得越來(lái)越好？還是繼續表現自我？我不知道答案。

您曾經(jīng)說(shuō)過(guò)，我們需要通過(guò)數學(xué)驗證人工智能在所有可能的環(huán)境下表現出的行為，這該怎么做呢？

人們指出的困難之一，就是一個(gè)智能系統可以武斷地制造出一個(gè)全新的“自我”，而這個(gè)新智能系統的目標和原來(lái)的老智能系統也是不同的。這種場(chǎng)景，相比很多科幻小說(shuō)作家會(huì )經(jīng)常提及，在某種程度上，機器會(huì )自發(fā)地達到戰勝人類(lèi)的目標。所以問(wèn)題來(lái)了：你能證明你的系統無(wú)論它多么智能，都永遠永遠不會(huì )重寫(xiě)自己最初由人類(lèi)設置的目標嗎？

證明這點(diǎn)還是相當容易的，正如前文所提到的DQN系統，它可以永遠不去改變自己“優(yōu)化游戲分數”的目標?，F在，有一次網(wǎng)絡(luò )攻擊，就是人們談?wù)摫环Q(chēng)為“wire-heading”的網(wǎng)絡(luò )攻擊，它讓你可以實(shí)際進(jìn)入到雅達利游戲的控制臺，手工改變屏幕上生成的分數。此時(shí)對DQN是不可行的，因為它的行為范圍是完全在游戲本身之中的；它沒(méi)有機器人手臂去干這種事兒。不過(guò)，如果機器在現實(shí)世界中有了行動(dòng)能力，那就會(huì )帶來(lái)嚴重的問(wèn)題。因此，你能夠證明你設計的系統在自身行為范圍之內，永遠不會(huì )改變自身機制嗎？這更難證明了。

如果朝著(zhù)人工智能這個(gè)方向有什么進(jìn)展的話(huà)，您覺(jué)得會(huì )很有希望嗎？

目前有一個(gè)新興的行業(yè)領(lǐng)域，叫做“網(wǎng)絡(luò )-實(shí)體系統”，這個(gè)系統可以將虛擬環(huán)境與真實(shí)世界進(jìn)行匹配。在網(wǎng)絡(luò )-實(shí)體系統中，你可以用一些二進(jìn)制數字來(lái)代表一個(gè)空中交通管制程序，然后你可以獲得一些真實(shí)的飛機，而你真正關(guān)心的是，不要發(fā)生飛機碰撞。你要試圖去證明一個(gè)關(guān)于虛擬和真實(shí)世界整合的定理，此時(shí)你會(huì )怎么做呢？你會(huì )對真實(shí)世界進(jìn)行非常保守的數學(xué)描述，比如飛機在這樣或那樣的環(huán)境下可以加速，等等，你的定理在真實(shí)世界中會(huì )是正確的，只要真實(shí)世界能夠包含在你的整體行為環(huán)境之中。

但是，你已經(jīng)指出，數學(xué)方法可能無(wú)法作為人工智能系統的正式驗證方法

在數學(xué)專(zhuān)業(yè)里有個(gè)術(shù)語(yǔ)，叫做“不可判定性”。在你所問(wèn)到關(guān)于計算機程序的很多問(wèn)題之中，其實(shí)都存在這樣一個(gè)普遍的“不可判定性”問(wèn)題。著(zhù)名的計算機科學(xué)之父，也是人工智能之父阿蘭·圖靈說(shuō)過(guò)，沒(méi)有計算機程序能夠決定是否存在任何其他可能的程序可以最終終止，并輸出一個(gè)答案，或是陷入到一個(gè)無(wú)限循環(huán)之中。因此，如果你開(kāi)始了一個(gè)程序，但是它自身可以重寫(xiě)，變成另外一個(gè)其他程序，那么就會(huì )產(chǎn)生問(wèn)題，因為你不能證明所有其他可能的程序會(huì )讓一些“所有權”滿(mǎn)意。所以問(wèn)題就是：是否有必要擔心那些能夠自我重寫(xiě)的人工智能系統的不可判定性？它們會(huì )基于現有程序，加上它們在真實(shí)世界中的經(jīng)驗，自我重寫(xiě)成一個(gè)新的程序。在下一個(gè)程序如何設計的問(wèn)題上，與真實(shí)世界交互的影響范圍可能性又是什么？目前，我們貌似還沒(méi)有太多這方面的知識。

via wired, 快鯉魚(yú)翻譯，轉載標明出處