作者：任福繼（電子科技大學(xué)特聘講席教授）；李太豪（之江實驗室高級研究專家）

　　　腦科學(xué)被視為理解宇宙、自然與人類關(guān)系的“終極疆域”，人類從未停止對人腦的探索，以及對其運行機制的模仿。人腦以極強的可塑性、通用性、自適應(yīng)性、自組織性以及低能耗、高效率等，為人工智能技術(shù)的發(fā)展提供了啟發(fā)和示范。類腦智能這一新興學(xué)科得以誕生，被認為是后摩爾時代最具發(fā)展?jié)摿Φ念嵏残灶I(lǐng)域之一。日前，中國科學(xué)技術(shù)協(xié)會完成了《直面人類未來——2021年度人類社會發(fā)展十大科學(xué)問題解讀》一書的編輯出版，本期，我們邀請其中的兩位作者，介紹有關(guān)類腦智能的研究。

　　　1.全球關(guān)注類腦智能研究

　　類腦智能研究具有重大意義，借鑒人腦的信息處理方式，有助于打破馮·諾依曼體系結(jié)構(gòu)束縛，有望引領(lǐng)人工智能從機器智能走向機增強智能，從專用智能走向通用智能。因此，目前世界各主要發(fā)達國家和地區(qū)都在積極推動類腦智能的發(fā)展。該領(lǐng)域全球重大項目密度逐年提升，如歐盟的“人類腦計劃”、美國的“推進創(chuàng)新神經(jīng)技術(shù)腦研究計劃”以及我國的科技創(chuàng)新2030——“腦科學(xué)與類腦研究重大項目”等，而且有谷歌、微軟等國際商業(yè)機器公司等高科技公司的大力度投入。

　　類腦智能又被稱為神經(jīng)形態(tài)計算，旨在模擬人類大腦的形態(tài)結(jié)構(gòu)及信息處理機制。一方面，突出生物學(xué)基礎(chǔ)和硬件導(dǎo)向，以神經(jīng)形態(tài)硬件仿真為核心，開發(fā)類腦芯片，模擬神經(jīng)電路結(jié)構(gòu)和脈沖神經(jīng)網(wǎng)絡(luò)，并利用神經(jīng)脈沖計算原理形成新型物理模式；另一方面，突出感知模式、認知機理、學(xué)習(xí)能力、記憶存儲等功能實現(xiàn)，在腦智能機制研究的基礎(chǔ)上，借助機器強大的整合、搜索、計算等能力，實現(xiàn)功能類腦和性能超腦的運行模式。

　　自然選擇并不必然意味著智能發(fā)展，其中蘊含著對于生存的妥協(xié)和生物體依附關(guān)系的輔助。因此，人類大腦作為自然進化的產(chǎn)物，仍然存在諸多弊端和局限，并非其所有的運行機制都是科學(xué)的和值得被模仿的，其信息處理的方式亦然。諸如記憶容量有限、學(xué)習(xí)過程緩慢、計算能力個體差異明顯等，這就需要梳理明確機腦究竟在哪些方面應(yīng)該借鑒人腦之所長，在哪些方面恰恰應(yīng)該發(fā)揮機腦與人腦相互協(xié)同之作用。

　　在信息處理方面，人腦有幾個顯著優(yōu)勢：一是能夠很好地處理非結(jié)構(gòu)化信息，能夠多模態(tài)感知并行處理數(shù)據(jù)，動態(tài)過濾和捕捉關(guān)鍵內(nèi)容，并進行跨媒體融合和自主決策；二是小樣本學(xué)習(xí)和泛化能力強，在知識和資源相對不足的條件下，主體具有強有力的自適應(yīng)能力，具有強容錯性；三是存算一體化，大腦的生物神經(jīng)元同時具備運算和存儲能力，具有一體化運行和超低能耗的特點；四是大腦建模不僅可以通過計算來實現(xiàn)，還具有稀疏性、學(xué)習(xí)性、選擇性和方向性等生物特性，蘊含巨大的信息處理潛能。

　　從信息的獲取、處理與存儲等角度，以及綜合考慮人腦在信息處理方面的顯著優(yōu)勢，類腦智能可以劃分為類腦感知、類腦記憶和類腦學(xué)習(xí)等。要最終形成“人造超級大腦”，還有很長的路要走，目前的類腦研究尚處于初級階段，僅是對大腦的高度抽象和簡化。

　　未來研究路徑應(yīng)該對大腦如何進行信息加工加以揭示，闡明復(fù)雜行為之下的內(nèi)在機制實現(xiàn)形式，特別是了解神經(jīng)信息如何產(chǎn)生感知覺、學(xué)習(xí)、記憶、決策等認知功能，并思考如何通過機腦實現(xiàn)智能，建立新型的計算結(jié)構(gòu)與智能形態(tài)，使其在信息處理機制上“類腦”，在信息處理性能上“超腦”，在認知行為和智能水平上“類人”。

　　　2.類腦感知模擬視覺、聽覺、觸覺和嗅味覺

　　根據(jù)人類感知世界的方式，類腦感知可以分為視覺智能、聽覺智能、觸覺智能和嗅味覺智能。當(dāng)前的視覺智能、聽覺智能處于信息技術(shù)領(lǐng)域?qū)W術(shù)研究與實際應(yīng)用的最前沿。相比之下，觸覺智能和嗅味覺智能處于材料硬件、規(guī)模化芯片硬件和類腦芯片結(jié)構(gòu)創(chuàng)新的研究階段。

　　在基礎(chǔ)研究層面，類腦視覺智能已經(jīng)發(fā)展為目前以深度學(xué)習(xí)為代表的視覺方法。1982年，大衛(wèi)·馬爾的《視覺》一書問世，使得視覺計算理論成為跨界計算機科學(xué)與認知神經(jīng)科學(xué)的橋梁?，F(xiàn)在，不同的類腦神經(jīng)網(wǎng)絡(luò)框架與其他領(lǐng)域的模型，如自然語言處理領(lǐng)域的轉(zhuǎn)換器已經(jīng)取得最先進的性能。在產(chǎn)業(yè)發(fā)展層面，視覺智能從上游的光源、鏡頭、相機，到視覺系統(tǒng)中游的中間算法，再到下游的設(shè)備制造和終端應(yīng)用等已經(jīng)取得全面的發(fā)展。

　　聽覺智能作為另外一個發(fā)展較為成熟的領(lǐng)域，其主要研究內(nèi)容以自然語言處理為核心，以語音和文本為載體，對抽象的信息進行表達。在應(yīng)用層面，語音信號處理技術(shù)已廣泛應(yīng)用于虛擬主播、在線通話、智能音箱等。在產(chǎn)業(yè)界，自然語言處理技術(shù)已經(jīng)被用于機器翻譯、聊天機器人、輿情分析和市場預(yù)測等各個領(lǐng)域。

　　觸覺智能是相對發(fā)展較為緩慢的一類感知技術(shù)。為了實現(xiàn)機器人準(zhǔn)確地感知世界，需要全方位的視覺智能與觸覺智能。2021年諾貝爾生理學(xué)或醫(yī)學(xué)獎得主、美國加利福尼亞大學(xué)舊金山分校的戴維·朱利葉斯和斯克利普斯研究所的阿德姆·帕塔普蒂安分別獨立發(fā)現(xiàn)了溫度與觸覺的受體，該發(fā)現(xiàn)揭示了人體皮膚感知溫度、壓力及疼痛的分子機制，即揭示了外部的溫度和機械刺激是如何轉(zhuǎn)化為內(nèi)部的神經(jīng)信號的。以該類發(fā)現(xiàn)為啟發(fā)，機器的觸覺智能以新材料為切入點，感知環(huán)境的溫度、壓力與濕度等各種信號，通過神經(jīng)網(wǎng)絡(luò)等機器學(xué)習(xí)方法自適應(yīng)地學(xué)習(xí)模型參數(shù)，使得機器具備感知觸覺的能力。

　　嗅味覺智能的研究難點也在感知材料層面，而不是后續(xù)的深度學(xué)習(xí)算法與認知訓(xùn)練層面。人工智能對味覺與嗅覺的識別，進展遠遠落后于對視覺和聽覺的識別。原因之一是視覺與聽覺的數(shù)據(jù)獲取相對容易且標(biāo)注較為簡單。而相比之下，嗅覺與味覺的標(biāo)注非常稀疏，且大部分物品并不會被輕易標(biāo)注，因為人類不會自己去嘗試陌生物品的味道。在基礎(chǔ)理論層面，人類對味覺和嗅覺的機理研究并不透徹，目前的認知僅停留在味道與物質(zhì)分子有關(guān)，而對分子之間的聯(lián)合作用不存在類似視覺的系統(tǒng)認知。因基礎(chǔ)理論認知的缺失、感知材料的發(fā)展限制，嗅味覺智能尚未在工業(yè)界廣泛應(yīng)用。在學(xué)術(shù)研究層面，IBM研究院于2019年研發(fā)的“電子舌頭”能在1分鐘內(nèi)識別多種液體，可以用于監(jiān)測食品安全、工廠質(zhì)檢、疾病診斷、環(huán)保檢測等領(lǐng)域。2020年，英特爾與康奈爾大學(xué)在《自然-機器智能》上聯(lián)合發(fā)表論文，宣布其利用英特爾神經(jīng)擬態(tài)芯片Loihi可以識別10種有害氣體。

　　人腦對大量的信息會基于注意力機制進行篩選，并將資源重點用于面向任務(wù)的關(guān)鍵信息處理。類腦注意力智能已經(jīng)被應(yīng)用于深度學(xué)習(xí)的各個領(lǐng)域，如視頻圖像處理、語音識別和自然語言處理等。當(dāng)前注意力機制發(fā)展最為成熟的領(lǐng)域是自然語言處理，它通過編碼-解碼器來實現(xiàn)對詞語的注意權(quán)重。

　　　3.類腦記憶已用于問答系統(tǒng)、機器翻譯

　　生物大腦在進行信息處理時，能夠?qū)⑿畔⒂涀∫欢螘r間，即大腦具有記憶功能。該功能是生物大腦的重要功能，是大腦進行學(xué)習(xí)、認知的基礎(chǔ)。根據(jù)記憶時間的長短，可將記憶分為短時記憶和長時記憶。短時記憶是對當(dāng)前環(huán)境的即時反應(yīng)，將當(dāng)前環(huán)境數(shù)據(jù)存儲于生物大腦中，從微觀角度來看，短時記憶是刺激神經(jīng)元后的持續(xù)性變化。長期記憶是對歷史信息的高層次概括，從微觀角度來看，是神經(jīng)元之間的突觸連接和強度發(fā)生了變化。具有記憶單元的智能體有很好的自適應(yīng)能力，可以從歷史經(jīng)驗中學(xué)習(xí)，從而更好地發(fā)揮作用。

　　受到腦科學(xué)的啟發(fā)，研究人員將記憶模塊應(yīng)用于機器學(xué)習(xí)模型中。長短期記憶網(wǎng)絡(luò)就是一種代表性方法。它通過對神經(jīng)記憶單元進行結(jié)構(gòu)化設(shè)計，通過門控模型控制信息的更新。其中，遺忘門控制信息中的哪些部分會被丟棄，輸入門控制神經(jīng)元要更新的信息，輸出門控制神經(jīng)元要輸出的信息，一個細胞狀態(tài)中存儲著由遺忘門和輸入門共同確定的可記憶的信息。長短期記憶網(wǎng)絡(luò)方法將信息表示成固定長度的向量化編碼，當(dāng)外部信息量變大時，這種定長的編碼方法可能會丟失信息的細節(jié)。這導(dǎo)致了長短期記憶網(wǎng)絡(luò)的記憶能力有限，并不能精確地記住過去的事實。此時的大部分模型都缺乏可以讀取和寫入外部知識的組件。

　　在此基礎(chǔ)上，研究人員開始研究非定長的記憶單元存儲信息。Facebook 團隊提出的記憶網(wǎng)絡(luò)就是其中一種。該團隊在記憶網(wǎng)絡(luò)中引入了一個獨立的存儲器。我們可以通過類比方式來理解這種網(wǎng)絡(luò)：網(wǎng)絡(luò)結(jié)構(gòu)可看作計算機中的中央處理器，而獨立存儲器可看作隨機存儲器。一個記憶網(wǎng)絡(luò)由一個記憶數(shù)組和四個組件（輸入組件、泛化組件、輸出組件、回答組件）組成。輸入組件負責(zé)將輸入數(shù)據(jù)轉(zhuǎn)化為網(wǎng)絡(luò)內(nèi)在的向量；泛化組件用來更新記憶數(shù)組；輸出組件結(jié)合輸入，從記憶數(shù)組中抽取合適的記憶；回答組件負責(zé)將輸出組件的輸出轉(zhuǎn)化為需要的形式。

　　記憶網(wǎng)絡(luò)雖然解決了定長記憶方法的局限性，但這種方法并不是一種端到端的方法。端到端的記憶神經(jīng)網(wǎng)絡(luò)隨之出現(xiàn)了。鍵值記憶網(wǎng)絡(luò)的提出解決了端到端的神經(jīng)網(wǎng)絡(luò)記憶規(guī)模不足的問題。以上方法通過非定長記憶編碼的方式改善定長記憶方法的缺陷，但隨著記憶的增長，這種方法可能會造成信息的冗余。因此，學(xué)者又引入了注意力機制來對信息進行動態(tài)融合，提取記憶中的重要信息。目前，相關(guān)工作已經(jīng)在問答系統(tǒng)、機器翻譯等任務(wù)中取得了良好表現(xiàn)。

　　盡管目前的神經(jīng)網(wǎng)絡(luò)計算模型對記憶的借鑒已經(jīng)在應(yīng)用層面取得了良好的效果，但這些方法仍然是從功能角度去模擬大腦，其進一步的發(fā)展還需要對人腦記憶機制和原理進行深入的探索。

　　在類腦記憶方面，現(xiàn)有的人工神經(jīng)網(wǎng)絡(luò)并不具備生物機理作為理論支撐。例如，在生物大腦中，記憶遵循著赫布學(xué)習(xí)律與脈沖時序依賴的突觸可塑性等法則。類腦記憶未來的發(fā)展方向應(yīng)該借鑒生物大腦的研究，根據(jù)生物大腦的記憶環(huán)路結(jié)構(gòu)及相關(guān)理論構(gòu)建多尺度的記憶框架，實現(xiàn)自主記憶。由于不同種類的記憶類型在神經(jīng)機制和神經(jīng)環(huán)路上差異明顯，因此類腦記憶應(yīng)重點解決對生物大腦的長時記憶、短時記憶、工作記憶等不同種類記憶方法的建模，探索不同記憶的腦機制。除此之外，類腦記憶還應(yīng)解決如何對記憶進行表示、如何構(gòu)建層次化記憶、如何對記憶進行去冗余處理、如何快速激活記憶單元等關(guān)鍵問題。

　　　4.類腦學(xué)習(xí)需要融合更多神經(jīng)生物學(xué)理論

　　生物大腦的學(xué)習(xí)智能來源是其有著超大規(guī)模和復(fù)雜互聯(lián)的神經(jīng)網(wǎng)絡(luò)，通過模擬生物神經(jīng)網(wǎng)絡(luò)從而實現(xiàn)類腦學(xué)習(xí)是類腦智能的發(fā)展思路之一。近年來蓬勃發(fā)展的深度神經(jīng)網(wǎng)絡(luò)利用生物大腦在進行信息處理時的層次化信息，在諸多領(lǐng)域取得了重大突破。

　　卷積神經(jīng)網(wǎng)絡(luò)就是一個很好的例子。它通過對網(wǎng)絡(luò)結(jié)構(gòu)的改造，使其某些神經(jīng)元共享相同參數(shù)，可以提取輸入數(shù)據(jù)某種不變的特征。但其仍是淺層的初步嘗試，對腦信息處理機制的深度借鑒還有很長的距離。

　　神經(jīng)學(xué)研究顯示，大腦新皮質(zhì)的功能實現(xiàn)依賴于其區(qū)域連接組成的層次結(jié)構(gòu)。該理論是皮質(zhì)學(xué)習(xí)算法的理論基礎(chǔ)，認為人腦的智能與新皮質(zhì)緊密相關(guān)。皮質(zhì)學(xué)習(xí)算法中的核心部分是分層時間記憶算法，該算法模擬了大腦新皮質(zhì)結(jié)構(gòu)和功能運作。雖然該模型目前已經(jīng)在數(shù)據(jù)處理領(lǐng)域得到了廣泛的應(yīng)用，但只是對大腦皮層對應(yīng)的功能進行粗略建模，與大腦的真實結(jié)構(gòu)差距甚遠。

　　20世紀(jì)90年代，神經(jīng)生物學(xué)家發(fā)現(xiàn)，在神經(jīng)元細胞體或軸突附近存在一系列的短脈沖，而且不同的信息在尖脈沖數(shù)量和脈沖輸出的時間上存在差異。這些研究成果促使了脈沖神經(jīng)網(wǎng)絡(luò)的產(chǎn)生。脈沖神經(jīng)網(wǎng)絡(luò)被稱為第三代神經(jīng)網(wǎng)絡(luò)，設(shè)計更加接近生物大腦的真實結(jié)構(gòu)，是對真實的生物神經(jīng)元進行建模。脈沖神經(jīng)網(wǎng)絡(luò)目前在模式識別、腦電信號處理、智能感知和控制方面有著良好效果，但在圖像或語音處理的效果方面仍然是個未知數(shù)。除此之外，脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法的理論發(fā)展尚需完善。

　　對于人類來說，學(xué)習(xí)新的知識并不需要很多標(biāo)記數(shù)據(jù)。這是由于人類在學(xué)習(xí)新任務(wù)時，會有其他的先驗知識可以用于聯(lián)想或者類比學(xué)習(xí)，人類只需要通過少量樣本就能快速學(xué)習(xí)，這就是機器學(xué)習(xí)和人類學(xué)習(xí)之間存在的差距?？刹豢梢越梃b人類學(xué)習(xí)的過程，從而通過其他任務(wù)的學(xué)習(xí)促進當(dāng)前任務(wù)的學(xué)習(xí)？

　　元學(xué)習(xí)就是基于此思想發(fā)展而來的，它試圖讓機器學(xué)習(xí)更加接近人類思維。元學(xué)習(xí)又被稱為學(xué)會學(xué)習(xí)，是利用以往的經(jīng)驗來指導(dǎo)新任務(wù)的學(xué)習(xí)，使人工神經(jīng)網(wǎng)絡(luò)具備學(xué)習(xí)的能力。元學(xué)習(xí)盡管取得了一些成績，但還有自適應(yīng)性、進化性、可解釋性等一系列問題有待研究，其系統(tǒng)理論知識尚需進一步完善。

　　在類腦學(xué)習(xí)方面，雖然現(xiàn)有的深度神經(jīng)網(wǎng)絡(luò)已經(jīng)模擬了生物大腦信息處理的部分原理，但這只是初步的探索，并沒有從更深層次去融合神經(jīng)生物學(xué)的相關(guān)理論。目前，在微觀層面，神經(jīng)生物學(xué)在神經(jīng)元和突觸的類型、數(shù)目及其工作原理等方面都取得了不少進展，發(fā)現(xiàn)它們在不同的腦區(qū)中差異很大，且能根據(jù)實現(xiàn)功能的不同動態(tài)變化調(diào)整，可以通過深度融合生物大腦的學(xué)習(xí)機制來提升現(xiàn)有模型。