1. 
      
        <b id="2uojj"></b>
      1. <tt id="2uojj"></tt>
      2. <b id="2uojj"></b>
        網易首頁 > 網易號 > 正文 申請入駐

        算法相對論|馬庫斯對賭馬斯克:深度學習撞墻了,楊立昆有話說

        0
        分享至

        一面是“深度學習(DL, Deep Learning)撞墻了”的呼喊,一面是馬上就能造出類人AI的喜悅。“深度學習三巨頭”之一的Yann LeCun(楊立昆)終于坐不住了。
        當地時間6月16日,Yann LeCun撰文《關于智能,AI能告訴我們什么》首次正面回應深度學習當下面臨的問題。LeCun寫道,“從一開始,批評者就過早地認為神經網絡已經遇到了不可翻越的墻,但每次都被證明只是一個暫時的障礙。”
        LeCun認為,這是一場關于深度學習前景的辯論。辯論的核心是對符號在智能中的作用存在兩種不同的看法:一種認為符號推理必須從一開始就被硬編碼,另一種認為機器可以像人類一樣從經驗中學習。這涉及到我們應該如何理解人類智能,進而去追求人類水平的人工智能。
        對賭世界首富馬斯克,五十萬美元獎金池已備好
        2012年,Geoffrey Hinton帶領的團隊一鳴驚人奪得ImageNET大規模視覺識別挑戰賽(ILSVRC)冠軍。此后,深度學習成為人工智能研究的主要焦點。
        深度學習已經在曾經對計算機非常具有挑戰性的很多任務上取得了進展,包括圖像分類、對象檢測、語音識別和自然語言處理。它的表現甚至讓人覺得造出類人的智能體也指日可待,埃隆·馬斯克在推特放言,“2029年感覺是關鍵一年。如果那時我們還沒有AGI(通用人工智能),我會感到驚訝。希望火星上的人也一樣。”
        馬斯克的言論在AI社區中激起眾多反對聲音,知名AI科學家、紐約大學教授加里·馬庫斯(Gary Marcus)提出與馬斯克對賭10萬美元。馬庫斯與紐約大學計算機科學家Ernest Davis合作編制以下五個檢驗AGI是否實現的標準,作為打賭的內容:
        2029年,AI無法看懂電影然后準確告訴你正在發生的事情(人物是誰、他們的沖突和動機是什么等);
        2029年,AI無法閱讀小說并可靠地回答有關情節、人物、沖突、動機等的問題;
        2029年,AI無法在任何廚房中擔任稱職的廚師;
        2029年,AI無法通過自然語言規范或與非專家用戶的交互可靠地構建超過10000行的無錯誤代碼(將現有庫中的代碼粘合在一起不算數);
        2029年,AI無法從以自然語言編寫的數學文獻中任意取證,并將其轉換為適合符號驗證的符號形式。
        “這是我的建議,如果你(或任何其他人)在2029年設法完成至少三個,就算你贏了。十萬美元如何?”馬庫斯寫道。
        馬庫斯發出這條推特幾個小時之內,發布賭局的網站瀏覽量就接近1萬次,獎金池目前已增加到50萬美元,由作家凱文·凱利(Kevin Kelly)提出在他的網站上進行托管。但馬斯克再無回應。馬庫斯對馬斯克說道,“比如你在2015年說過,實現完全自動駕駛的汽車還需要兩年時間,從那以后,你幾乎每年都說一遍同樣的話,可現在完全自動駕駛仍未實現。”
        馬庫斯一直對深度學習的技術路徑有所懷疑,他曾寫了一本關于深度學習的限制的書,他支持將不同AI技術結合在一起的混合方法。3月中旬,馬庫斯曾經撰文《深度學習撞墻了》,認為純粹端到端的深度學習快走到盡頭,整個AI領域必須另尋出路。
        混合方法VS純深度學習:馬庫斯嗆聲Hinton
        終于,6月1日,一向深居簡出的Geoffrey Hinton在加州伯克利教授Pieter Abbeel的播客節目中談到了這個話題,“如果有人說(深度學習)撞墻了,那么他們只需列出一張清單,列出深度學習無法做到的事情。5年后,我們就能證明深度學習做到了。”
        于是,馬庫斯在推特上寫了一封給Geoffrey Hinton的公開信,又提到了他與Ernest Davis合作編制的五條判斷AGI的標準,意思是其已經在與馬斯克的賭局里把深度學習不能做的事列出來了。
        深度學習的缺點確實隨著發展日益清晰,包括其有限的泛化性、與因果關系的斗爭和缺乏可解釋性。此外,大多數深度學習應用程序需要大量手動注釋的訓練示例,這也成了瓶頸。但在三位以其對深度學習的開創性貢獻而聞名的圖靈獎得主Geoffrey Hinton、Yoshua Bengio和Yann LeCun看來,更好的神經網絡架構最終將克服深度學習的當前限制。
        LeCun在文章中寫道,“今天看似不可逾越的墻是符號推理,即以代數或邏輯的方式操縱符號的能力。我們知道,解決數學問題需要根據嚴格的規則逐步處理符號。作為《The Algebraic Mind》的作者和《Rebooting AI》的作者之一,Gary Marcus最近聲稱深度學習無法進一步取得進展,因為神經網絡在處理符號操作方面存在困難。然而,許多深度學習研究人員確信深度學習已經在進行符號推理并將持續改進。”
        其實,LeCun在5月份也發推文表示,“我相信我們需要找到新的概念,讓機器能夠:通過像嬰兒一樣觀察來了解世界是如何運作的。學會預測一個人如何通過采取行動來影響世界。”但這里說的跟馬庫斯倡導的不是同一回事,LeCun正在研究的是一種更復雜的自我監督學習,馬庫斯則支持混合方法。
        最近獲得關注的一種混合方法是神經符號人工智能,這是人工智能的一個分支,曾隨著深度學習的興起而被淘汰。它將人工神經網絡與符號系統相結合,但將人類專業知識提煉成一套規則,事實證明是非常困難、耗時且昂貴的,這也被稱為“知識獲取瓶頸”。雖然為數學或邏輯編寫規則很簡單,但世界本身卻非常模棱兩可,事實證明,不可能為每個模式編寫規則或為模糊概念定義符號。
        在3月IBM神經符號AI研討會上的一次演講中,麻省理工學院計算認知科學教授Joshua Tenenbaum(約書亞·特南鮑姆)解釋了當前神經符號系統如何幫助解決AI系統的一些關鍵問題,包括缺乏常識和因果關系、組合性和直覺物理學。
        “我們如何超越智能的概念,即識別數據中的模式和近似函數,更多地走向人類思維對世界的建模——解釋和理解你所看到的事物,想象你看不到但可能發生的事情,并將它們變成你可以通過計劃行動和解決問題來實現的目標?”特南鮑姆認為,要彌合與人類智能之間的差距,首先要探索的就是人類和許多動物共有的智力的基本方面之一:直覺物理學和心理學。
        特南鮑姆的神經符號AI概念中的一個關鍵組成部分是一個物理模擬器,將其集成到智能體的推理過程中,幫助AI實時模擬世界并預測未來會發生什么。
        由此可以大致理解當下的神經符號系統AI思路。同時,這種方式也被證明比純深度學習系統需要更少的數據和計算資源。
        這就引出了另一個問題——人工智能的范式轉變。馬庫斯又開了新的賭局,他認為我們90%需要人工智能的范式轉變,而SlateStarCodex的名人Scott Alexander則認為要低于60%。
        LeCun提出爭論本質:智能如何運作?什么使人類獨特?
        LeCun在文章中指出,馬庫斯對深度學習的批評源于認知科學(以及在哲學中更古老)的一場相關斗爭,即智能如何產生以及什么使人類獨特。他的想法與心理學中一個著名的“先天理論”學派一致,該學派認為認知的許多關鍵特征是與生俱來的——實際上,我們在很大程度上天生就有一個關于世界如何運作的直觀模型。
        這種與生俱來架構的一個核心特征就是符號操縱的能力。但這是整個自然界中均有的還是人類特有的,尚存在爭議。對于馬庫斯來說,這種符號操縱能力是許多常識的基本特征的基礎:遵循規則、抽象、因果推理、重新識別細節、概括等。簡而言之,我們對世界的大部分理解都是自然賦予的,而學習則是充實細節的過程。
        另一種“經驗主義”觀點則認為:符號操縱在自然界中是罕見的,主要伴隨著人類祖先在過去兩百萬年中逐漸獲得的學習交流能力而產生的。根據這種觀點,認知能力主要是與提高生存率相關的非符號學習能力,如快速識別獵物、預測它們的可能行為以及發展熟練的反應。這個觀點假設絕大多數復雜的認知能力是后天獲得的,是通過一種普遍的、自監督的學習能力獲得。這是一種通過經驗獲得直觀世界模型的能力,這個世界模型具備常識的核心特征。它還假設,我們大多數復雜的認知能力都不依賴于符號操縱,相反是通過模擬各種場景并預測最佳結果來做到這一點。
        這種經驗主義觀點將符號和符號操縱視為另一種學習能力,隨著人類越來越依賴合作行為取得成功就獲得了這種能力。這種觀點將符號視為人類用來協調合作活動的發明——如文字,地圖、標志性描繪、儀式甚至社會角色。這些能力被認為是由于越來越長的學習青春期和對更精確、更專業的技能(如工具制造和消防維修)需求的結合而產生的。這一觀點認為符號和符號操作主要歸于文化發明,較少依賴于大腦中的硬接線(hard wiring),而更多地依賴于我們日益復雜的社會生活。
        這兩種觀點之間的差異非常明顯。
        對于先天論來說,符號和符號操縱本就在大腦之中,而文字和數字的使用正是從這種原始能力中衍生出來的。這種觀點很具吸引力地解釋了一系列源于進化適應的能力(盡管對于符號操縱如何或為何進化的解釋一直存在爭議)。
        對于經驗主義者來說,符號和符號推理是用于交流目的的有用發明,它源于一般的學習能力和復雜的社會世界。這些內部計算和內心獨白等發生在我們頭腦中的象征性東西,因而被視為源自數學和語言使用的外部實踐。
        人工智能和認知科學領域密切相關,因此這些爭論的重演也就不足為奇了。人工智能領域中任一觀點的成功,都會在部分程度上證明認知科學中的一種或另一種方法是正確的(但也僅是部分程度上),因此這些爭論之激烈也就不足為奇了。現在面臨的問題不僅是關于人工智能當代問題的正確方法,還有關于什么是智能以及大腦如何工作的問題。
        如果馬庫斯和先天論者是對的,那么深度學習將永遠無法實現類人的AI,無論它提出了多少新架構或投入了多少計算能力。不斷添加更多層只會令人困惑,因為真正的符號操縱需要一個與生俱來的符號操縱者。而且,由于這種符號操作是幾種常識能力的基礎,因此深度學習系統將永遠不會擁有任何東西,只能擁有對事物粗略、現成的理解。
        相比之下,如果深度學習的倡導者和經驗主義者是正確的,那么插入符號操縱模塊的想法是令人困惑的。在這種情況下,深度學習系統已經在進行符號推理,并將繼續改進它,因為它們通過更多的多模態自監督學習、越來越有用的預測世界模型以及用于模擬的工作內存的擴展以及評估結果來滿足約束。引入符號操縱模塊不會導致更像人類的AI,而是迫使所有“推理”通過一個不必要的瓶口,讓我們與類人智能漸行漸遠。這可能會切斷深度學習最令人印象深刻的方面之一:它能夠提出比人類程序員想象的更有用和更聰明的解決方案。
        盡管賭注很高,但同樣重要的是,這些辯論中提出的許多問題至少在某種程度上是次要的。比如一些討論:深度學習系統中的高維向量應該被視為離散符號(可能不是),實現深度學習系統所需的代碼行是否使其成為混合系統(語義),在復雜游戲中獲勝是否需要手工的、特定領域的知識,或者它是否可以學習(說得太早了)。還有一個問題是混合系統是否有助于解決圍繞人工智能的倫理問題(否)。
        而這一切都不是為了證明這場愚蠢的炒作是合理的:當前的系統沒有意識——它們并不能理解我們,強化學習還不夠,你不能僅僅通過擴大規模來建立類人智能。但所有這些問題都與主要爭論無關:符號操縱是否需要硬編碼,還是可以學習?
        這是停止研究混合模型的呼吁嗎?當然不是。研究人員自1980年代以來一直在研究混合模型,但尚未證明它們是靈丹妙藥——或者在許多情況下,甚至遠不及神經網絡。更廣泛地說,人們應該懷疑深度學習是否已達到極限。
        LeCun在結尾中寫道,鑒于最近DALL-E 2、Gato和PaLM中任務的持續、增量改進,避免將障礙誤認為墻壁似乎是明智之舉。深度學習不可避免的失敗之前就已經預料到了,但押注它是不值得的。

        特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

        Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

        相關推薦
        熱點推薦
        T-羅斯直播時看彈幕以為被交易至快船 妻子:你TMD的自己不知道?

        T-羅斯直播時看彈幕以為被交易至快船 妻子:你TMD的自己不知道?

        直播吧
        2022-06-25 11:44:07
        新加坡早就不檢測新冠了,為何天天還有新增病例?

        新加坡早就不檢測新冠了,為何天天還有新增病例?

        新加坡眼
        2022-06-24 20:11:07
        絕了!皇馬醞釀夢幻簽約:史詩級首發浮出水面,給全歐一道無解題

        絕了!皇馬醞釀夢幻簽約:史詩級首發浮出水面,給全歐一道無解題

        球場沒跑道
        2022-06-25 16:26:02
        高考滿分作文《紙梯》獲官媒點贊,僅僅一句開頭,就驚艷了眾人

        高考滿分作文《紙梯》獲官媒點贊,僅僅一句開頭,就驚艷了眾人

        娟娟lu教育
        2022-06-24 11:00:30
        “17歲,一次7000元”:并不是每個女大學生表面的精致都是真的

        “17歲,一次7000元”:并不是每個女大學生表面的精致都是真的

        印合歷史說
        2022-06-17 10:33:59
        西安“上海人”陸昊的仕途:一路最年輕,35歲擔任北京市副市長

        西安“上海人”陸昊的仕途:一路最年輕,35歲擔任北京市副市長

        師說新知
        2022-06-24 06:35:45
        開始了,銀行在拼命往外借錢了

        開始了,銀行在拼命往外借錢了

        真叫盧俊
        2022-06-25 11:59:56
        詳細!四位原省級黨政一把手,同日赴全國人大工作

        詳細!四位原省級黨政一把手,同日赴全國人大工作

        政知新媒體
        2022-06-24 20:36:23
        冷知識:母獅發情時,每日要啪20到40次,公獅想跑還跑不掉

        冷知識:母獅發情時,每日要啪20到40次,公獅想跑還跑不掉

        門衛秦大爺看世界
        2022-06-24 14:41:50
        曝國家隊球員王云章嫖娼,女友多次感染HPV,比賽前夕半夜出門

        曝國家隊球員王云章嫖娼,女友多次感染HPV,比賽前夕半夜出門

        四斤
        2022-06-24 11:51:29
        助力人民幣奔跑,緬甸開始動刀,拜登慌張:美元或要輸把大的

        助力人民幣奔跑,緬甸開始動刀,拜登慌張:美元或要輸把大的

        哨所
        2022-06-25 11:10:21
        6000萬英鎊!恭喜皇馬,薩拉赫轉會亮起綠燈,利物浦拒絕雙倍高薪

        6000萬英鎊!恭喜皇馬,薩拉赫轉會亮起綠燈,利物浦拒絕雙倍高薪

        超級替補
        2022-06-25 17:02:43
        突發!澳門+170,大灣區多城市緊張,深圳旅居史開始受限!

        突發!澳門+170,大灣區多城市緊張,深圳旅居史開始受限!

        旅游圈大小事
        2022-06-25 12:37:46
        90后小伙穿阿瑪尼領走雙色球551萬:目前單身沒女友,先買房買車

        90后小伙穿阿瑪尼領走雙色球551萬:目前單身沒女友,先買房買車

        彩彩大神
        2022-06-25 10:03:53
        美國這件事徹底改變了歷史,斗爭和悲劇才剛剛開始!

        美國這件事徹底改變了歷史,斗爭和悲劇才剛剛開始!

        牛彈琴
        2022-06-25 09:10:56
        為了耐老,不生孩子不曬太陽,如今55歲自然老去的臉,令人驚嘆

        為了耐老,不生孩子不曬太陽,如今55歲自然老去的臉,令人驚嘆

        飛來娛了I
        2022-06-21 11:31:03
        “今年,必須你們給我打電話!”老將蜂擁金州,庫里再也不用“求人”了

        “今年,必須你們給我打電話!”老將蜂擁金州,庫里再也不用“求人”了

        籃下王者
        2022-06-25 14:43:08
        意外!2連敗后,大連人隊將帥矛盾激化?謝暉公開嘲諷門將和前鋒

        意外!2連敗后,大連人隊將帥矛盾激化?謝暉公開嘲諷門將和前鋒

        羅掌柜體育
        2022-06-25 10:36:22
        下午3點,人民日報送驚喜,中國游泳隊將沖擊13金,全紅嬋威武!

        下午3點,人民日報送驚喜,中國游泳隊將沖擊13金,全紅嬋威武!

        體育資訊大鍋燴
        2022-06-25 14:57:36
        高考分數線一出,家長高呼三聲“不要選文科”、“不要選歷史”

        高考分數線一出,家長高呼三聲“不要選文科”、“不要選歷史”

        直通高考
        2022-06-25 15:34:13
        2022-06-25 19:02:44
        澎湃新聞
        澎湃新聞
        專注時政與思想的新聞平臺。
        575965文章數 4360237關注度
        往期回顧 全部

        科技要聞

        美最高法院推翻墮胎權,大公司集體怒了

        頭條要聞

        中國向阿富汗提供5000萬元緊急人道主義援助

        頭條要聞

        中國向阿富汗提供5000萬元緊急人道主義援助

        體育要聞

        選秀小年,你不值錢

        娛樂要聞

        秋瓷炫穿短裙打高爾夫 甜蜜表白老公

        財經要聞

        汽車要聞

        阿維塔11亮相 零百加速3秒的中大型轎跑SUV

        態度原創

        教育
        親子
        房產
        時尚
        軍事航空

        教育要聞

        北京航空航天大學:繼續實施大類招生、大類培養,拔尖創新人才培養計劃升級

        親子要聞

        情商低的娃通常來自這種家庭,家長不改變,娃很難出人頭地

        房產要聞

        真臨鐵地塊!通州梨園待入市三宗住宅用地

        這些才是夏季白色穿搭的高級感范本

        軍事要聞

        東部戰區回應美軍機穿航臺灣海峽

        進入關懷模式 日韩AV高清一区