1987年，我在伊利諾伊大學(xué)攻讀博士學(xué)位時(shí)，有一個(gè)難得的機(jī)會(huì)去聽(tīng)加州理工學(xué)院的John Hopfield教授給厄巴納香檳分校魯姆斯物理實(shí)驗(yàn)室的學(xué)生講述他在神經(jīng)網(wǎng)絡(luò)上的開(kāi)創(chuàng)性研究。他繪聲繪色地講述了如何設(shè)計(jì)和制作一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)芯片來(lái)快速解決基準(zhǔn)旅行商問(wèn)題（TSP）。TSP是指：當(dāng)TSP中的城市數(shù)量增加到一個(gè)非常大的數(shù)目時(shí)，沒(méi)有物理計(jì)算機(jī)能夠在漸近有界的多項(xiàng)式時(shí)間內(nèi)解決這個(gè)問(wèn)題，從這個(gè)意義上說(shuō)，TSP是一個(gè)可證明的NP完全問(wèn)題。
神經(jīng)網(wǎng)絡(luò)領(lǐng)域的一個(gè)重要里程碑是，發(fā)現(xiàn)了可以解決復(fù)雜組合問(wèn)題的硬件算法，因?yàn)楝F(xiàn)有的感知器型前饋神經(jīng)網(wǎng)絡(luò)技術(shù)只能對(duì)有限的簡(jiǎn)單模式進(jìn)行分類(lèi)。盡管如此，神經(jīng)計(jì)算的創(chuàng)始人康奈爾大學(xué)的Frank Rosenblatt教授在20世紀(jì)50年代末建造了一臺(tái)感知計(jì)算機(jī)，當(dāng)時(shí)諸如IBM 650這樣的波數(shù)字計(jì)算機(jī)剛剛商業(yè)化。后續(xù)的神經(jīng)硬件設(shè)計(jì)進(jìn)展受阻，主要是由于當(dāng)時(shí)的技術(shù)（包括真空管、繼電器和無(wú)源元件如電阻、電容和電感等）不具備集成實(shí)現(xiàn)大型突觸網(wǎng)絡(luò)的能力。1985年，美國(guó)貝爾實(shí)驗(yàn)室利用MOS技術(shù)制造出個(gè)固態(tài)電子晶體芯片，在概念上驗(yàn)證了John Hopfield教授解決TSP的神經(jīng)網(wǎng)絡(luò)架構(gòu)，從而為在硅片上解決非布爾型計(jì)算和類(lèi)腦計(jì)算開(kāi)辟了道路。
John Hopfield教授的開(kāi)創(chuàng)性工作表明，如果組合算法中的目標(biāo)函數(shù)可以用二次型表示，循環(huán)神經(jīng)網(wǎng)絡(luò)中的突觸連接可以相應(yīng)地通過(guò)將大量神經(jīng)元的連接進(jìn)行編程來(lái)降低目標(biāo)函數(shù)的值(即局部小值)。Hopfield的神經(jīng)網(wǎng)絡(luò)由橫向連接的神經(jīng)元組成，這些神經(jīng)元可以被隨機(jī)初始化。隨后，該網(wǎng)絡(luò)可以迭代地減少網(wǎng)絡(luò)固有的Lyapunov能量函數(shù)值，使其達(dá)到局部小狀態(tài)。值得注意的是，Lyapunov函數(shù)在循環(huán)神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)作用下呈單調(diào)下降，神經(jīng)元不具有自反饋���！�

在Mazumder和Yih的著作中[1]，我們證明了Hopfield網(wǎng)絡(luò)所獲得的解的質(zhì)量可以通過(guò)選擇性地提供自反饋使神經(jīng)元遠(yuǎn)離局部小值而得到顯著改善。這種方法類(lèi)似于梯度下降搜索中的爬坡，通常會(huì)陷入局部小點(diǎn)。由于神經(jīng)元的自反饋會(huì)影響Hopfield神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性，所以在網(wǎng)絡(luò)收斂到局部小狀態(tài)之前，我們沒(méi)有對(duì)神經(jīng)元施加任何自反饋。然后，通過(guò)爬坡機(jī)制提高網(wǎng)絡(luò)的能量，將網(wǎng)絡(luò)從局部小值中拉出。我們?cè)谏鲜鑫恼轮斜砻�，通過(guò)使用這項(xiàng)創(chuàng)新技術(shù)，芯片修復(fù)提高約25％，改善了VLSI存儲(chǔ)器的良率。

Hopfield教授使用四個(gè)獨(dú)立二次函數(shù)的組合來(lái)表示TSP的目標(biāo)函數(shù)。目標(biāo)函數(shù)的部分確保若旅行商恰好一次穿越城市則能量函數(shù)小；第二部分確保旅行商訪(fǎng)問(wèn)行程中的所有城市；第三部分確保不同時(shí)訪(fǎng)問(wèn)兩個(gè)城市；第四部分確定連接TSP中所有城市的短路徑。因?yàn)樯窠?jīng)元之間通過(guò)連接的突觸有大量的同步交互作用，這些突觸被精確地調(diào)整以滿(mǎn)足上述二次函數(shù)的約束，所以簡(jiǎn)單的循環(huán)神經(jīng)網(wǎng)絡(luò)可以迅速生成質(zhì)量非常好的解。然而神經(jīng)網(wǎng)絡(luò)由于其簡(jiǎn)單的連接結(jié)構(gòu)，與經(jīng)過(guò)良好測(cè)試的軟件處理（例如模擬退火、動(dòng)態(tài)規(guī)劃和分支定界算法）不同，它通常無(wú)法找到解決方案。
在聽(tīng)了Hopfield教授的精彩演講之后，我對(duì)他這種創(chuàng)新的感觸頗深。一方面，我很高興地從他的演講中了解到，通過(guò)使用具有非常小的硬件開(kāi)銷(xiāo)的簡(jiǎn)單神經(jīng)形態(tài)CMOS電路，可以快速地解決計(jì)算上困難的算法問(wèn)題。另一方面，我認(rèn)為Hopfield教授為了證明神經(jīng)網(wǎng)絡(luò)解決組合優(yōu)化問(wèn)題的能力而選擇的TSP應(yīng)用程序并不合適，因?yàn)榫�心設(shè)計(jì)的軟件算法，可以獲得神經(jīng)網(wǎng)絡(luò)幾乎無(wú)法得到的解決方案。我開(kāi)始考慮開(kāi)發(fā)可自愈的超大規(guī)模集成電路（VLSI）芯片，利用受神經(jīng)網(wǎng)絡(luò)啟發(fā)的自修復(fù)算法的力量來(lái)自動(dòng)重組有缺陷的VLSI芯片。低開(kāi)銷(xiāo)和通過(guò)神經(jīng)元之間的并行交互同時(shí)解決問(wèn)題的能力是兩點(diǎn)顯著的特性，可以用來(lái)巧妙地通過(guò)內(nèi)置的神經(jīng)網(wǎng)絡(luò)電路來(lái)自動(dòng)修復(fù)VLSI芯片。
不久之后，我作為助理教授來(lái)到密歇根大學(xué)，與我的一個(gè)博士生\[2\]一起工作，起初，我們?cè)O(shè)計(jì)了一款具有異步狀態(tài)更新的CMOS模擬神經(jīng)網(wǎng)絡(luò)電路，因晶元內(nèi)部工藝變化等因素導(dǎo)致這個(gè)芯片魯棒性不夠好。為了提高自修復(fù)電路工作的可靠性，我和一名理科碩士\[3\]設(shè)計(jì)了一個(gè)同步狀態(tài)更新的數(shù)字神經(jīng)網(wǎng)絡(luò)電路。這些神經(jīng)網(wǎng)絡(luò)電路通過(guò)在二分圖中尋找節(jié)點(diǎn)覆蓋、邊覆蓋或節(jié)點(diǎn)對(duì)匹配來(lái)確定修復(fù)問(wèn)題，從而能夠用于修復(fù)VLSI芯片。在我們的圖的形式體系中，二分圖中的一組頂點(diǎn)表示故障電路元件，另一組頂點(diǎn)表示備用電路元件。為了將故障VLSI芯片改造成無(wú)故障的可操作芯片，在通過(guò)嵌入式內(nèi)置自檢電路識(shí)別出故障元件之后，再通過(guò)可編程開(kāi)關(guān)元件自動(dòng)調(diào)用備用電路元件。
重要的是，與TSP一樣，二維數(shù)組修復(fù)可以證明是一個(gè)NP完全問(wèn)題，因?yàn)樾迯?fù)算法尋找的多余的行、列數(shù)，它們可以被分配以繞過(guò)故障組件（比如記憶細(xì)胞、字線(xiàn)和位線(xiàn)驅(qū)動(dòng)），以及位于存儲(chǔ)器陣列內(nèi)部的讀出放大器隊(duì)列。因此，由計(jì)數(shù)器和其他塊組成的簡(jiǎn)單數(shù)字電路無(wú)法解決這種棘手的自修復(fù)問(wèn)題。值得注意的是，由于無(wú)法部署VLSI芯片的輸入和輸出引腳來(lái)查詢(xún)深度內(nèi)嵌的嵌入式陣列中的故障模式，因此無(wú)法使用外部數(shù)字計(jì)算機(jī)來(lái)確定如何修復(fù)嵌入式陣列。
在1989年和1992年，我獲得了美國(guó)國(guó)家科學(xué)基金會(huì)的兩項(xiàng)資助，將神經(jīng)形態(tài)自愈設(shè)計(jì)風(fēng)格擴(kuò)展到更廣泛的嵌入式VLSI模塊，如內(nèi)存陣列\(zhòng)[4\]、處理器陣列\(zhòng)[5\]、可編程邏輯陣列\(zhòng)[6\]等。但是，這種通過(guò)內(nèi)置的自檢和自修復(fù)提高VLSI芯片產(chǎn)量的方法比VLSI芯片應(yīng)用的時(shí)代早了一點(diǎn)，因?yàn)樵?0世紀(jì)90年代初期，的微處理器僅包含數(shù)十萬(wàn)個(gè)晶體管。因此，在開(kāi)發(fā)了基于神經(jīng)網(wǎng)絡(luò)的自愈VLSI芯片設(shè)計(jì)方法以用于各種類(lèi)型的嵌入式電路模塊之后，我停止了對(duì)CMOS神經(jīng)網(wǎng)絡(luò)的研究。我對(duì)神經(jīng)網(wǎng)絡(luò)應(yīng)用于其他類(lèi)型的工程問(wèn)題并不是特別感興趣，因?yàn)槲蚁肜^續(xù)專(zhuān)注于解決VLSI研究中出現(xiàn)的問(wèn)題。
另外，在20世紀(jì)80年代末，CMOS技術(shù)的預(yù)言者越來(lái)越擔(dān)心，即將到來(lái)的紅磚墻效應(yīng)預(yù)示著CMOS縮小時(shí)代的結(jié)束。因此，為了促進(jìn)幾種可能推動(dòng)VLSI技術(shù)前沿的新興技術(shù)，美國(guó)國(guó)防部高級(jí)研究計(jì)劃局（DARPA）在1990年左右啟動(dòng)了超電子：超密集、超快速計(jì)算元件研究計(jì)劃。與此同時(shí)，日本的國(guó)際貿(mào)易工業(yè)部（MITI）推出了量子功能器件（QFD）項(xiàng)目。這兩個(gè)研究項(xiàng)目早期的成功與大量的創(chuàng)新non-CMOS技術(shù)推動(dòng)了美國(guó)國(guó)家納米技術(shù)項(xiàng)目（NNI）的創(chuàng)建，這是一個(gè)美國(guó)政府研究和開(kāi)發(fā)（R&D）計(jì)劃，包括20個(gè)部門(mén)和獨(dú)立機(jī)構(gòu)，將帶來(lái)納米技術(shù)的革命，從而影響整個(gè)行業(yè)和社會(huì)。
在1995年到2010年期間，我的課題組初專(zhuān)注于基于量子物理的器件和量子隧穿器件的電路建模，然后我們廣泛研究了基于一維（雙障礙共振隧穿器件）、二維（自組裝納米線(xiàn)）和三維（量子點(diǎn)陣列）受限量子設(shè)備的細(xì)胞神經(jīng)網(wǎng)絡(luò)（CNN）圖像和視頻處理電路。隨后，我們使用電阻突觸裝置（通常稱(chēng)為憶阻器）和CMOS神經(jīng)元開(kāi)發(fā)了基于學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)電路。通過(guò)在二維處理元件（PE）集成的計(jì)算節(jié)點(diǎn)中混合量子隧穿和記憶器件，我們還開(kāi)發(fā)了模擬電壓可編程納米計(jì)算體系結(jié)構(gòu)。我們對(duì)納米神經(jīng)形態(tài)電路的研究發(fā)表在我們的新書(shū)Neuromorphic Circuits for Nanoscale Devices中，由英國(guó)River出版社在2019年出版。
在用各種新興納米電子和自旋電子器件開(kāi)發(fā)了十多年的神經(jīng)形態(tài)電路之后，我決定開(kāi)始研究基于學(xué)習(xí)的數(shù)字VLSI神經(jīng)形態(tài)芯片，在亞閾值和超閾值兩種操作模式中使用納米CMOS技術(shù)。我的學(xué)生和這本書(shū)的合著者Nan Zheng博士，完成了有關(guān)數(shù)字神經(jīng)網(wǎng)絡(luò)的體系結(jié)構(gòu)和算法的博士學(xué)位論文。我們從機(jī)器學(xué)習(xí)和生物學(xué)習(xí)的角度出發(fā)，設(shè)計(jì)和制造了基于TSMC 65nm CMOS技術(shù)的高效節(jié)能VLSI芯片。
我們從機(jī)器學(xué)習(xí)的角度捕獲了演員評(píng)論家類(lèi)型的強(qiáng)化學(xué)習(xí)（RL）\[7\]和一個(gè)采用離線(xiàn)策略更新的時(shí)間差（TD）學(xué)習(xí)示例，稱(chēng)為VLSI芯片上的Q學(xué)習(xí)\[8\]。此外，我們還捕捉到生物無(wú)監(jiān)督學(xué)習(xí)應(yīng)用中常用的基于脈沖相關(guān)的突觸可塑性。我們還制定了硬件友好的基于脈沖時(shí)間依賴(lài)可塑性（STDP）學(xué)習(xí)規(guī)則\[9\]，在修改后的MNIST數(shù)據(jù)庫(kù)基準(zhǔn)上，單隱藏層和雙隱藏層神經(jīng)網(wǎng)絡(luò)的分類(lèi)正確率分別為97.2%和97.8%。硬件友好的學(xué)習(xí)規(guī)則支持高效節(jié)能的硬件設(shè)計(jì)\[10\]以及對(duì)與芯片制造\[11\]相關(guān)的過(guò)程電壓溫度（PVT）變化的魯棒實(shí)現(xiàn)。通過(guò)仿真RL軟件程序的核心自適應(yīng)動(dòng)態(tài)規(guī)劃（ADP），證明了用于演員評(píng)論家網(wǎng)絡(luò)的硬件加速器VLSI芯片可解決一些控制理論基準(zhǔn)問(wèn)題。此外，與在通用處理器上運(yùn)行的傳統(tǒng)軟件強(qiáng)化學(xué)習(xí)相比，在175MHz下運(yùn)行的VLSI芯片加速器在計(jì)算時(shí)間上縮短了兩個(gè)數(shù)量級(jí)，同時(shí)只消耗了25mW[12]。
圖1中的芯片布局圖包含了大量使用CMOS技術(shù)的數(shù)字神經(jīng)網(wǎng)絡(luò)芯片的樣本，這是我的研究小組在過(guò)去35年中設(shè)計(jì)的。圖1的左欄是1991年設(shè)計(jì)的一個(gè)自愈芯片，通過(guò)在一個(gè)二分圖上運(yùn)行節(jié)點(diǎn)覆蓋算法來(lái)自動(dòng)修復(fù)有缺陷的VLSI內(nèi)存陣列，二分圖代表有缺陷的組件集和可用的備用電路元件。2013年設(shè)計(jì)的STDP芯片，用于控制虛擬昆蟲(chóng)從初始起點(diǎn)到預(yù)定目的地的運(yùn)動(dòng)，避免了在一組任意形狀的阻塞空間中導(dǎo)航時(shí)的碰撞。前一段描述的深度學(xué)習(xí)芯片是2016年設(shè)計(jì)的。
圖1的右欄為2016年設(shè)計(jì)的RL芯片。其中還包括兩個(gè)超低功耗（ULP）CMOS芯片，利用亞閾值技術(shù)，用于可穿戴的醫(yī)療保健應(yīng)用。在其中一個(gè)應(yīng)用中，利用神經(jīng)網(wǎng)絡(luò)的Kohonen的自組織映射（SOM）對(duì)心電圖（ECG）波形進(jìn)行分類(lèi)，設(shè)計(jì)了一種帶有無(wú)線(xiàn)收發(fā)器的人體傳感網(wǎng)絡(luò)，利用可植入的多極傳感器對(duì)模擬神經(jīng)元信號(hào)進(jìn)行感知，并通過(guò)內(nèi)置的喚醒收發(fā)器向醫(yī)生提供數(shù)字化數(shù)據(jù)，幫助醫(yī)生對(duì)精神分裂癥、慢性抑郁癥、阿爾茨海默病等腦相關(guān)疾病中神經(jīng)元和突觸層面上對(duì)藥物的療效進(jìn)行監(jiān)測(cè)。
初，當(dāng)我們決定以CMOS類(lèi)腦計(jì)算的神經(jīng)形態(tài)芯片的形式出版一本強(qiáng)調(diào)我們工作的專(zhuān)著時(shí)，我們想要匯總在前言中引用的論文的各種結(jié)果，從而構(gòu)成這本書(shū)的內(nèi)容。但是，在準(zhǔn)備手稿的過(guò)程中，我們修改了初較狹隘的目標(biāo)，因?yàn)樵诔Ｒ?guī)課程中采用本書(shū)來(lái)向大學(xué)生和研究生講授具有學(xué)習(xí)能力的一代神經(jīng)網(wǎng)絡(luò)將是有局限性的。

圖　1
后來(lái)我們決定寫(xiě)一本全面的關(guān)于具有各種學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)高能效硬件設(shè)計(jì)的書(shū)，討論正在進(jìn)行的神經(jīng)硬件的擴(kuò)展研究。這顯然是一項(xiàng)艱巨的任務(wù)，需要仔細(xì)研究數(shù)百個(gè)參考文獻(xiàn)的存檔來(lái)源，描述能夠?qū)W習(xí)執(zhí)行各種任務(wù)的硬件神經(jīng)網(wǎng)絡(luò)的協(xié)同設(shè)計(jì)和協(xié)同優(yōu)化方法。我們?cè)噲D提供一個(gè)全面的視角，從高級(jí)算法到低級(jí)硬件實(shí)現(xiàn)細(xì)節(jié)，涵蓋神經(jīng)網(wǎng)絡(luò)的許多基礎(chǔ)和要素（如深度學(xué)習(xí)），以及神經(jīng)網(wǎng)絡(luò)的硬件實(shí)現(xiàn)。簡(jiǎn)而言之，本書(shū)目前的版本有以下幾個(gè)顯著特點(diǎn)：
●包括神經(jīng)形態(tài)算法硬件加速器的多層次全面評(píng)述。
●涵蓋架構(gòu)與算法的協(xié)同設(shè)計(jì)，并采用新興器件來(lái)極大地提升計(jì)算效率。
●關(guān)注算法與硬件的協(xié)同設(shè)計(jì)，這是在神經(jīng)形態(tài)計(jì)算中應(yīng)用新興器件（如傳統(tǒng)憶阻器和擴(kuò)散型憶阻器）的關(guān)鍵。
后，由于完成這本書(shū)有嚴(yán)格的時(shí)間限制，所以本書(shū)目前的版本沒(méi)有像教科書(shū)那樣以教學(xué)的方式描述教學(xué)材料，在每一章的結(jié)尾也沒(méi)有習(xí)題。在收集了來(lái)自學(xué)生、教師、實(shí)踐工程師和其他讀者的寶貴反饋后，這些目標(biāo)有望在下一版中實(shí)現(xiàn)。如果你能提供正面和負(fù)面的指導(dǎo)性反饋，我將非常感激，這將使我能夠準(zhǔn)備本書(shū)的第2版。我的聯(lián)系方式如下：
Pinaki Mazumder
地址：4765 BBB Building Division of Computer Science and Engineering Department of Electrical Engineering and Computer Science University of Michigan, Ann Arbor,MI 48109-2122
電話(huà)：734-763-2107
郵箱：mazum@eecs.umich.edu，pinakimazum@gmail.com
網(wǎng)址：http://www.eecs.umich.edu/~mazum
參考文獻(xiàn)