雷鋒網(wǎng) (公眾號：雷鋒網(wǎng)) AI科技評論按：人類某些神經(jīng)元的樹突，可以執(zhí)行之前認為需要整個神經(jīng)網(wǎng)絡(luò)才能完成的邏輯運算。

目前對于計算機科學(xué)家來講，人工神經(jīng)網(wǎng)絡(luò)構(gòu)建，往往基于這樣一個概念：神經(jīng)元是一個簡單的、非智能的開關(guān)，神經(jīng)網(wǎng)絡(luò)的信息處理來源于數(shù)萬（數(shù)萬億）個神經(jīng)元之間的連接。

然后神經(jīng)科學(xué)家對于人腦的研究發(fā)現(xiàn)卻并不是如此。在神經(jīng)科學(xué)的諸多研究中已經(jīng)發(fā)現(xiàn)，人腦在信息計算上并不只有神經(jīng)元連接在起作用，單個的神經(jīng)元也同樣承擔(dān)著比以前人們想象中要重要得多的計算任務(wù)。

雷鋒網(wǎng)AI科技評論了解到，最近《Science》上發(fā)表了一篇論文 “Dendritic action potentials and computation in human layer 2/3 cortical neurons”。在這篇論文中，研究人員發(fā)現(xiàn)，皮質(zhì)神經(jīng)元樹突上的微小區(qū)室（tiny compartments in the dendritic arms of cortical neurons）可以執(zhí)行特定的計算-“異或”。這個發(fā)現(xiàn)之所以重要，在于，一直以來數(shù)學(xué)理論家們都認為單個神經(jīng)元是無法進行“異或”計算的；現(xiàn)在則不僅是單個神經(jīng)元，甚至神經(jīng)元的樹突上的部分都可以進行“異或”運算。

神經(jīng)元并不單純只是為了連接，它們同樣能夠執(zhí)行復(fù)雜運算，神經(jīng)元本身可能也是一個多層網(wǎng)絡(luò)。這個發(fā)現(xiàn)對于構(gòu)建人工神經(jīng)網(wǎng)絡(luò)的計算機科學(xué)家們來講，或許會是一個非常重要的啟發(fā)。

啞神經(jīng)元的局限性

在上世紀40年代和50年代，這樣一幅圖片開始在神經(jīng)科學(xué)領(lǐng)域占主導(dǎo)地位：

• 啞神經(jīng)元（“dumb” neuron），一個簡單的積分器，整個網(wǎng)絡(luò)中對輸入進行求和的點；

• 從神經(jīng)元延伸出來的分支（稱為樹突）能夠從鄰近神經(jīng)元接收成千上萬的信號，有些是興奮性信號，有些是抑制性信號；

• 在神經(jīng)元細胞體上，所有的信號在這里進行加權(quán)和計數(shù)，如果總和超過某個閾值，則神經(jīng)元會發(fā)出一系列的電脈沖（動作電位），這些電脈沖會直接刺激鄰近的神經(jīng)元。

大約在同一時間，研究人員意識到，單個神經(jīng)元可以起到邏輯門的作用，類似于數(shù)字電路中的邏輯門（盡管截止目前我們還不清楚大腦在處理信息，在多大程度上是這樣的）。例如，如果神經(jīng)元僅在收到足夠數(shù)量的輸入后才觸發(fā)，實際上就是一個“與”門。

因此理論上，神經(jīng)元網(wǎng)絡(luò)可以執(zhí)行任何計算。

但顯然這種模型是存在局限性的。在這種模型中，神經(jīng)元將坍縮為空間中的一個點，它沒有任何內(nèi)部結(jié)構(gòu)。另一方面這個模型也忽略了一個事實：流入給定神經(jīng)元的數(shù)千個輸入是沿著不同的樹突進入神經(jīng)元細胞體的，而這些樹突本身所起到的功能可能差異巨大，或者更為具體來說，這些樹突內(nèi)部本身可能存在一些計算功能。

這種模型在80年代開始改變。

神經(jīng)科學(xué)家Christof Koch等人通過建模（后來也得到了實驗的支持）表明，單個神經(jīng)元內(nèi)部不能表達為單個或統(tǒng)一的電壓信號；取而代之的是，電壓信號沿著樹突進入神經(jīng)元胞體內(nèi)時會降低，并且通常對細胞的最終輸出沒有任何貢獻。

信號的不一致性，意味著單個的樹突可能在彼此獨立地處理信息。這與先前的神經(jīng)元假說是有矛盾的；在先前的神經(jīng)元假說中，神經(jīng)元只是簡單將所有東西加在一起。

這項工作促使了Koch以及耶魯大學(xué)醫(yī)學(xué)院的Gordon Shepherd等人開始對樹突結(jié)構(gòu)進行建模。基本的思路就是，神經(jīng)元不再只是充當一個簡單的邏輯門，而是一個復(fù)雜的多單元處理系統(tǒng)。

后來 Mel 等人進行了更加細致的研究，他們發(fā)現(xiàn)：1）樹突能夠產(chǎn)生局部尖峰；2）樹突具有自己的非線性輸入-輸出曲線；3）樹突有自己的激活閾值（這個閾值與神經(jīng)元整體閾值不同）；4）樹突本身可以充當 AND 門或其他單元。

Mel等人認為，這意味著可以將單個的神經(jīng)元構(gòu)想為 two-layer 的神經(jīng)網(wǎng)絡(luò)：樹突充當非線性計算子單元，收集輸入并吐出中間輸出；這些輸出信號將在細胞體中進行結(jié)合，然后決定整個神經(jīng)元的反應(yīng)。

當然，截止目前為止，我們還并不清楚樹突水平的活動，是否會影響神經(jīng)元的放電以及鄰近神經(jīng)元的活動。不過，不管如何，局部處理在整個神經(jīng)元系統(tǒng)中的作用已經(jīng)毋庸置疑。在計算能力上，神經(jīng)元要比我們想象的強大很多。

神經(jīng)學(xué)家Shepherd也曾表示：“皮層中進行處理的大部分功率實際上是低于閾值的。單個神經(jīng)元系統(tǒng)可能并不僅僅只是一個加權(quán)求和的系統(tǒng)。”

從理論上來講，幾乎任何可以想象的計算都可以由一個具有足夠樹突的神經(jīng)元來執(zhí)行，每個樹突都能夠執(zhí)行自己的非線性計算。

而前面提到的最近發(fā)表在《Science》上的論文中，研究人員將這一想法又向前推進了一步：他們認為，不僅僅是樹突本身，樹突中的微小區(qū)室也能夠獨立執(zhí)行復(fù)雜計算。

意外尖峰與明斯基的不可能

本文作者Matthew Larkum 是一位洪堡德的神經(jīng)科學(xué)家，他的研究團隊希望能夠從不同的問題角度來研究樹突。之前研究者主要在研究嚙齒類動物的樹突活動，因此他們希望能夠研究有大量且更長樹突的人類神經(jīng)元中的電信號有什么不同。

他們從人類大腦皮層的第二層和第三層獲取了腦組織切片，人類大腦皮層包含了有許多樹突的特大神經(jīng)元。當他們用電流來刺激這些樹突時，他們看到了意料之外且反復(fù)出現(xiàn)的尖峰，這些尖峰似乎與其他已知的神經(jīng)信號完全不一樣。它們非常迅速而短暫，就如同動作電位一般，是由鈣離子的流動所引起的。這是值得注意的，因為傳統(tǒng)的動作電位通常是由鈉離子和鉀離子所引起的。并且，雖然此前已經(jīng)在嚙齒動物的樹突狀中也觀察到了這種由鈣離子所誘發(fā)的信號，但是那些尖狀物的持續(xù)時間要長得多。

更奇怪的是，給樹突注入給多的電流刺激，反而會降低神經(jīng)元放電的密集度，而非增加。為了搞清楚這種新的尖峰可能帶來什么影響，研究人員構(gòu)建了一個能夠反映神經(jīng)元行為的模型。?

該模型發(fā)現(xiàn)，輸入 X和輸入Y，如果只有輸入 X 或只有輸入Y，樹突會出現(xiàn)尖峰；而如果兩個輸入同時出現(xiàn)，就不會有尖峰。這相當于異或（或XOR）的非線性計算。

這一發(fā)現(xiàn)在計算機領(lǐng)域產(chǎn)生了轟動。多年來，他們都認為 XOR 函數(shù)不可能出現(xiàn)在單個神經(jīng)元中，著名的計算機科學(xué)家Marvin Minsky 和Seymour Papert在他們于1969 年合著的《Perceptrons》一書中，還對單層人工網(wǎng)絡(luò)無法執(zhí)行 XOR 進行了論證。這一結(jié)論具有毀滅性的影響，以至于很多計算機科學(xué)家都將20世紀80年代之前神經(jīng)網(wǎng)絡(luò)研究陷入低迷狀態(tài)，歸咎于這一結(jié)論。

神經(jīng)網(wǎng)絡(luò)研究者最終找到了避開Minsky 和 Papert所提出的困難的方法，同時神經(jīng)科學(xué)家們也在自然界中找到了這些解決方案的案例。例如，Poirazi 之前就已經(jīng)發(fā)現(xiàn)了XOR是可能存在于單個神經(jīng)元中的：并且簡單將兩個樹突結(jié)合起來，就能夠?qū)崿F(xiàn)這一點。而在最近的這個實驗中，他們甚至能夠提供了一個合理的、在單個樹突中執(zhí)行XOR的生物物理機制。

處理器中的處理器

當然，并非所有的神經(jīng)元都是如此。據(jù)論文作者 Gidon 所說，大腦的其他部分也存在很多更小的點狀神經(jīng)元?；蛟S發(fā)現(xiàn)的這種神經(jīng)復(fù)雜性的存在是有原因的。

神經(jīng)元中的一個小區(qū)室，為什么需要具有整個神經(jīng)元或一個小型的神經(jīng)網(wǎng)絡(luò)才具備的能力呢？

一個可能是：多層神經(jīng)網(wǎng)絡(luò)的神經(jīng)元能夠有更好的處理能力，并且能夠有更好的學(xué)習(xí)和存儲能力。

對此，Poirazi指出：“或許在單個的神經(jīng)元內(nèi)就有一個深度網(wǎng)絡(luò)，這在學(xué)習(xí)有難度的問題或認知方面，會強大許多?！?

Kording 也提到：“單個神經(jīng)元或許能夠計算真正復(fù)雜的函數(shù)，例如，它可能能夠擁有自主識別對象的能力?！?/p>

正如Poirazi 所說，如此強大的單個神經(jīng)元，也將有助于大腦降低能量消耗。

據(jù)了解，研究者們計劃下一步將嘗試在嚙齒類動物或其他動物身上的樹突中尋找相似的信號，以此來確定這種計算能力是否是人類所獨有。他們也希望能夠超越模型的范疇，將他們觀察到的神經(jīng)行為與動物的實際行為結(jié)合起來研究。

與此同時，Poirazi 則期望能夠比較這些樹突中的計算與神經(jīng)元網(wǎng)絡(luò)中實際發(fā)生的情況，以此證明前者是否具備一些優(yōu)勢。這包括測試其他類型的邏輯操作、探索這些操作將對學(xué)習(xí)和記憶有哪些貢獻意義。她表示：“在我們開展這些實驗之前，我們無法真正確定這一發(fā)現(xiàn)將帶來多大的影響?！?

結(jié)語?

雖然現(xiàn)在研究者們還有很多工作需要做，但他們認為這些發(fā)現(xiàn)也暗示著他們需要重新思考他們該如何對大腦以及其更廣泛的函數(shù)建模。僅僅關(guān)注不同神經(jīng)元和大腦區(qū)域的關(guān)聯(lián)性，遠遠不夠。

這一新結(jié)果，似乎也會對人工智能和機器學(xué)習(xí)領(lǐng)域的問題帶來影響。人工神經(jīng)網(wǎng)絡(luò)依賴于點狀模型，這種模型將神經(jīng)元視作對輸入計數(shù)并在活動函數(shù)中傳遞總數(shù)的節(jié)點。

紐約大學(xué)認知科學(xué)家、深度學(xué)習(xí)的懷疑者 Gary Marcus曾說過：“只有少數(shù)人在認真對待這個觀點：單個神經(jīng)元可能是一個復(fù)雜計算的設(shè)備。”

他補充道，盡管這篇在《科學(xué)》上發(fā)表的論文只是更廣泛的研究史中闡述了這一觀點的其中一項發(fā)現(xiàn)，但計算機科學(xué)家應(yīng)該嚴肅看待這一觀點，因為它用 XOR 問題為阻礙了神經(jīng)網(wǎng)絡(luò)研究如此長時間的研究難題提供了一個研究框架。他表示：“也就是說，我們真地需要考慮采用這種解決思路，想從愚蠢的神經(jīng)元中獲得聰明的認知的整個研究規(guī)則，可能是錯誤的。”

via? https://www.quantamagazine.org/neural-dendrites-reveal-their-computational-power-20200114/

雷鋒網(wǎng)報道。

。