-
謝耘:為什么要認真討論大語言模型的“理解”問題?
我們固然可以依靠信仰,將一個技術發揮到極致,就像當年Hinton等人所為;但是我們卻無法依靠信仰,讓一個技術去做我們期望的、又是它所力不能及的事情。每個技術都有其能力的邊界,認識這個邊界對于人類的努力有重要的意義,可以讓我們極大地減少盲目性。一個技術的能力邊界可以通過理論分析確定,也可以通過實踐碰撞發現。而現代科學的強大,就在于可以從一般性原理出發確定技術方法的能力邊界,所以我們才走出了傳統的依靠實踐碰撞掌握技術的工匠時代。今天,在“外意識”領域,我們不能僅僅滿足于實踐碰撞。努力形成一些機制原理層的認識,具有重大的意義。
那么,是否可以通過持續地增加模型的規模,進而統計更多的數據,讓模型生成的基于表象的統計性理解去無限逼近人類的本質性理解?也就是說在“理解”這個問題上,是否也存在一個類似于概率統計中的“大數定律”——只要樣本足夠大,統計結果就可以無限逼近現象背后的本質規律?
這種可能性應該相當小。
首先,我們沒有這方面的足夠的實踐可以證實利用統計方法可以實現我們期望的理解。人類已有的實踐告訴我們,表象經驗單純在數量上的積累,即使再多也完成不了質的飛躍,無法形成對背后本質的洞見。或者說如果沒有深思熟慮,“望”再多的“文”,也“生”不出深刻的“義”;
其次,對抽象知識的關聯關系,不同于傳統數理統計中對簡單事件的概率描述。在傳統數理統計中,我們統計的是性質一致的簡單事件,并且找到了許多不同的情況下理論上的概率分布。而對于抽象知識的關聯關系,因為我們面對的是大量性質不同的復雜“事件”,所以沒有辦法用簡單的類似概率分布的方式來描述。我們現在使用的算法也不是在直接統計人類理解中的本質性關聯,而是統計文字符號之間的相關性。所以用概率統計中的“大數定律”來做類比,去推論預言人工智能的統計可以實現對文字符號背后深層意義的逼近并沒有多少依據。
最后,目前包括大語言模型在內的人工智能使用的統計模型,都是經驗性的。經驗的有效性具有很大的局限,有其推廣擴展的邊界。實踐告訴我們,基于經驗構造的系統,其復雜功能下的規模擴展性是有限的。比如,如果僅僅憑借經驗,人類可以建造規模宏大但功能簡單的金字塔;然而再出色的能工巧匠恐怕也修建不了達到迪拜哈利法塔那樣高度而且還有那樣復雜功能的建筑。相信統計模型可以因為規模上持續地擴展,而不斷“涌現”出更多的“理解”上的奇跡,不僅沒有理論的支撐,也缺乏充分的實踐依據。
所以,《Artificial Intelligence:A Modern Approach》的作者之一Stuart Russell (加州大學伯克利分校,現任計算機科學系教授(曾任系主任)、人類兼容人工智能中心主任)對基于統計深度學習的大語言模型有如下的評論:“(大語言模型)看起來聰明是因為它有大量的數據,人類迄今為止寫的書、文章……它幾乎都讀過,但盡管如此,在接受了如此之巨的有用信息后,它還是會吐出完全不知所謂的東西。
加州大學伯克利分校計算機科學專業教授、人類兼容人工智能中心(Center for Human-Compatible AI)創始人斯圖爾特·羅素(Stuart Russell) 圖源:搜狐新聞
所以,在這個意義上,我認為語言大模型很可能不是人工智能的一種進步。……我們所謂往前走的唯一方法是---模型不 work?好吧,我們再給它更多數據,把模型再做大一點。我不認為擴大規模是答案。”(聞菲,“Stuart Russell專訪:關于ChatGPT,更多數據和更多算力不能帶來真正的智能”,微信公眾號:“機器之心”,2023年2月20日)
“外意識”跨越從“了解”到“理解”這個鴻溝,可能需要當下主流認知之外的思路,而不是一味依賴擴大規模增加算力。人們總是對已經成功的主流手段有一種近乎迷信般的執著,但每一次關鍵的跨越常常都是在當下的主流認知之外。就好像這次在Hinton等人的長期頑強堅持下,基于暴力計算的統計方法出乎主流預料地擔當起了實現第一個跨越的重任。近期Yann LeCun被眾人攻擊,便是因為他認為當下眾人狂熱追捧的自回歸生成式大模型之路已經快到盡頭,人工智能要繼續發展應該走一條新路,這也是他正在進行的探索。持這種觀點的學者并非只有他一個。
杰弗里·辛頓(Geoffrey Hinton)
人類執著地試圖造出與自己有著同樣智能的機器,或許根植于人類自己渴望為造物主的強烈愿望。暴力計算的出現讓這個渴望顯得比以往任何時候都更加具有可實現性。有一位國內的學者對當前拼命依靠算力來解決問題的局面寫了一段有趣的評論:“目前這種狀況下,這種領先是極其不保險的,因為說不定突然某一方祭出一個逆天的算法就會一下改變整個戰局。如果這樣往往很戲劇性,很悲壯,因為一方可能剛剛投入幾千億去擴充算力,誰知另一方倒騰出一個新的算法,竟可達到類似的效果卻只需千分之一的算力。所以,未來幾年會非常好玩。”
然而由于人工智能缺少理論基礎,所以對于未來的所有判斷也就都僅僅是一種猜測。最終只由實踐或時間給出答案。
如果我們放開視野去觀察就會發現或許還有另外一種可能。即“外意識”止步于人工智能的這個鴻溝邊,不再狂熱地模仿追趕人類已有的能力,轉而以自己不同于人類的獨特能力,大力創造自己與人類互補的價值,以此對人類的發展做出新的巨大貢獻。畢竟在人類的歷史上,有許多被認為理所當然而孜孜以求的目標,雖歷經千年卻依然渺茫,就是做不到,比如修煉成仙而長生不老。
02. “外意識”的感性與理性認知
在上一節的分析中我們看到,大語言模型通過對學習樣本在文字符號層的統計分析確實形成了自己獨特的統計性理解。那么這種理解的產物在模型中,或者說在這個“外意識”中,是以什么形態存在的?它是否能夠直白地告訴我們、或者我們是否能夠直觀地看到它到底理解了什么、掌握了哪些知識?
由于以深度學習為代表的統計算法具有“不可解釋性”,所以上述問題的答案是:不能。
如果將它與人類的意識活動做個有趣的對比的話,我們不難看出依靠深度學習的大語言模型理解和掌握的內容,可以說是以“外意識”的“感性認識”的形式存在的。
之所以將這種統計性理解形成的“認識”稱之為“外意識”的“感性認識”,是因為它在算法中是以分散隱性的形態存在,沒有形成顯性的以文字符號為基礎的形式化系統性表示。即它沒有形成用文字符號表達的明確的知識,而是以參數+模型的形態存在,只有在使用時才能間接地感受到它的作用。
統計性理解形成的這種感性認識有其明顯的局限。首先是不可傳遞性。因為沒有作為顯性的認知存在而無法被剝離出來。如果要傳遞,也只能是以參數+模型的整體方式進行;其次,無法對其做解析分析,不能從理性邏輯的角度去分析這種認識的合理性與正確性。這些特征與人類的感性認識都非常類似。
我們把人類的認識分為感性與理性,就是因為理性認識是可以用文字符號等形式化的方式清晰地表達出來的,而感性認識卻做不到。個人的感性認識要想傳遞的話,基本只能自己親自到場操作,這與參數+模型的方式本質是一樣的。
在人類的發展過程中,從感性思維發展到理性思維能力,是人類進化的一個重要的里程碑。它讓人類的知識從此有了可以超越個體生命的存在而持續不斷積累提升的可能。在對事物的認識過程中,從感性認識上升到理性認識是非常重要的一步跨越。人類的知識積累、一代代人認知的不斷深化,都依賴于理性認識。這也是近現代科學得以歷經四百年而發展到今天這樣輝煌的高度的必要基礎之一。
對于人類自己大腦中的“內意識”是如此,那么對于人類創造的大腦外的“外意識”呢?把自己學習到的內容,用人類可以理解的顯性方式呈現出來,讓它變成“外意識”的理性認識,是不是未來機器學習需要走出的具有決定意義的一步?
顯然,如果“外意識”能夠做到這一步,將是一個質的飛躍。這將帶來不可估量的影響,要比它像現在這樣不明不白地又學會了一個新技能要重要的多得多。把“外意識”的這種感性認識變成理性認識會讓我們對機器學習的方法有更深刻的理解,從而可以更有方向性地提升機器學習的能力,開發新的機器學習算法;也會讓機器學習的結果在更多的方面起到更大的作用,成為人類知識寶庫的重要補充來源之一;讓人類的內外意識更加密切地融合在一起,進一步提升人類整體的智慧能力。
這是一個巨大的挑戰。目前在人工智能領域內的許多研究工作,包括對機器學習的可解釋性研究都與此密切相關,但一直沒有實質性突破。
那么,“外意識”是否與人類的內意識一樣,也是先有感性認識再有理性認識的?如果我們脫離目前基于統計的人工智能的視角,就很容易看到“外意識”走了一條很不相同的路。它是先有理性認識,然后才發展出感性認識的。
“外意識”從誕生之日起,一直非常“理性”,直到“暴力計算”的出現才打破了這個局面,讓它開始變得“感性”起來。
自從計算機誕生直到這一輪人工智能熱潮的興起,“外意識”都是人類理性創造的產物。人類將自己的理性認識注入到“外意識”中,轉化為它自身的邏輯,讓其清晰地按照這種理性認識去完成各項任務。雖然這些理性認識不是“外意識”自己產生的,但是這種做法讓“外意識”確實從人類那里獲得了大量的對這個世界的理解,然后按照這些理解、按照人類的理性認識去循規蹈矩地勞作。即使在深度學習讓“外意識”可以自己形成出人預料的各種“感性認識”之后,業界依然有一個說法:“有多少人的智能,就有多少人工智能”。顯然這個時候人們依然認為人類注入到“外意識”中的理性認識依然是起決定作用的因素。
-
本文僅代表作者個人觀點。
- 責任編輯: 史岱君 
-
“知假買假”者惡意高額索賠,最高法發布司法解釋
2024-08-21 11:08 食品安全 -
學習時報:解放思想是個重大政治問題
2024-08-21 08:40 -
湖北:推行分管案件的縣紀委副書記異地交流任職后,反腐力度明顯加大
2024-08-21 08:17 廉政風暴 -
國家衛健委:將對授予護士處方權工作的必要性進行充分論證
2024-08-21 08:00 醫療改革 -
廣西北海多人趕海遭雷擊,官方通報:1人死亡
2024-08-21 07:42 -
放票秒沒、60元門票被炒到1600元,故宮回應
2024-08-21 07:29 -
巴黎長榮桂冠酒店拒絕懸掛中國國旗遭旅法僑界譴責,中使館發聲
2024-08-21 06:50 -
智障男子服刑近10年改判無罪后哥哥發聲:希望對相關法官追責
2024-08-20 21:50 疑案追蹤 -
習近平接見第33屆奧運會中國體育代表團
2024-08-20 19:37 -
習近平會見出席全國人大加入各國議會聯盟40周年紀念活動
2024-08-20 19:10 -
鄭州警方回應女子被男子壓身下毆打:男子精神分裂
2024-08-20 18:14 -
央視起底:氧氣放掉,用藥直接丟垃圾箱,工傷保險基金成“提款機”
2024-08-20 18:01 醫療改革 -
強降雨致300多名受災群眾被困,葫蘆島應急局出動三十多架救援直升機
2024-08-20 17:32 極端天氣 -
日媒中國籍播音員播報時說“釣魚島是中國”,最新后續
2024-08-20 16:30 日本 -
大搞數字政績與家族式腐敗,湖南省政協原副主席戴道晉被逮捕
2024-08-20 15:29 廉政風暴 -
多地農村地區離婚率上升引關注,機構和學者分析原因提出對策
2024-08-20 13:33 婚姻故事 -
受強降雨影響,遼寧葫蘆島4個村通信中斷
2024-08-20 12:55 極端天氣 -
足協競賽部原部長黃松因受賄罪一審被判七年
2024-08-20 08:53 廉政風暴 -
出廠價5萬賣給醫院12萬,國家醫保局問詢藥企
2024-08-20 06:59 -
寧夏一化工車間發生爆炸,5人遇難
2024-08-19 22:09 安全生產
相關推薦 -
全國最大!哈密百萬千瓦“光熱+光伏”項目并網發電 評論 55“中國在非洲真正贏得了民心,就連斯威士蘭…” 評論 90“日企抱團是絕望之舉,中國工廠效率質量都是第一” 評論 141“她下月訪華,盡管特朗普團隊表達了擔憂” 評論 54最新聞 Hot
-
“沙特曾多次警告德國提防嫌疑人”
-
特朗普最新任命!這次包括火箭隊老板、真人秀制作人
-
巴勒斯坦三個政治派別發表聯合聲明
-
“中國在非洲真正贏得了民心,就連斯威士蘭…”
-
“日企抱團是絕望之舉,中國工廠效率質量都是第一”
-
“中國有能力讓夢想照進現實,將贏得史詩般競爭”
-
被災民暴罵到當場破防,馬克龍發飆:你該慶幸你在法國!
-
美高校敦促國際學生抓緊回來:萬一把中印拉黑名單呢
-
美國政府“逃過一劫”
-
“澤連斯基要求歐盟新外長:對華批評要降調”
-
澳大利亞來了,中國就得走人?澳總理這么回應
-
美媒感慨:基建狂魔發力,我們又要被超越了
-
英國剛公布新任大使,特朗普顧問就痛罵:傻X
-
“來自中國的老大哥能確保我們…”
-
俄羅斯的報復來了
-
澤連斯基罵普京“傻子”,俄方怒斥
-