【儀表網(wǎng) 研發(fā)快訊】近日，北京大學(xué)集成電路學(xué)院、人工智能研究院，集成電路高精尖創(chuàng)新中心研究團(tuán)隊(duì)在Nature Communication雜志上在線發(fā)表了題為“An emergent attractor network in a passive resistive switching circuit”的研究論文。該工作首次揭示了無(wú)源憶阻器電路為一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)，是多個(gè)憶阻器件相互作用的涌現(xiàn)結(jié)果。研究團(tuán)隊(duì)構(gòu)建了相應(yīng)的吸引子網(wǎng)絡(luò)模型和能量函數(shù)，并完成了實(shí)驗(yàn)證明和聯(lián)想記憶應(yīng)用的演示，通過(guò)理論和實(shí)驗(yàn)兩個(gè)層面深入分析了憶阻器吸引子網(wǎng)絡(luò)相比經(jīng)典Hopfield網(wǎng)絡(luò)在存儲(chǔ)容量、硬件實(shí)現(xiàn)和性能等多方面的優(yōu)勢(shì)。
 

　　憶阻器(或稱電阻式存儲(chǔ)器件)具有豐富的動(dòng)力學(xué)特性，利用它的阻變動(dòng)力學(xué)或簡(jiǎn)單的可編程電導(dǎo)屬性可實(shí)現(xiàn)狀態(tài)邏輯、時(shí)間信息處理和模擬矩陣計(jì)算等功能。得益于器件非易失性和交叉陣列架構(gòu)，它常被用來(lái)加速許多算法中的矩陣向量乘法(MVM)，特別是神經(jīng)網(wǎng)絡(luò)方面的研究最受關(guān)注。吸引子網(wǎng)絡(luò)是一種使用交互式反饋的遞歸神經(jīng)網(wǎng)絡(luò)(RNN)模型，其中Hopfield網(wǎng)絡(luò)是典型的代表，它與生物神經(jīng)回路和記憶機(jī)制有很強(qiáng)的聯(lián)系，并在聯(lián)想記憶和組合優(yōu)化中得到應(yīng)用。
 

　　目前，已有一系列基于憶阻器陣列實(shí)現(xiàn)的Hopfield網(wǎng)絡(luò)硬件研究。在這些工作中，器件僅被用作靜態(tài)的可編程電阻，模仿高度簡(jiǎn)化的突觸，神經(jīng)元?jiǎng)t通常由傳統(tǒng)的放大器電路實(shí)現(xiàn)，具有低的面積、時(shí)間和能量效率。此外，由于該架構(gòu)僅執(zhí)行MVM操作，算法迭代是離散進(jìn)行的，這會(huì)導(dǎo)致額外的時(shí)延，特別是模擬計(jì)算的離散迭代需要模數(shù)轉(zhuǎn)換接口，進(jìn)一步限制了計(jì)算效率。
 

　　研究團(tuán)隊(duì)基于憶阻器自身的閾值、循環(huán)、非易失阻變特性，首次證明了由一列雙極性憶阻器組成的電路本質(zhì)上是一個(gè)吸引子網(wǎng)絡(luò)。其中，憶阻器是一種特殊的人工神經(jīng)元，它的非線性激活函數(shù)為雙向回滯型，不同于常見的非線性函數(shù)，外部施加的電壓定義了一個(gè)反對(duì)稱權(quán)重矩陣，器件之間的相互作用實(shí)現(xiàn)網(wǎng)絡(luò)的遞歸。這樣的概念還可以擴(kuò)展到其它器件種類，如單極性或閾值阻變器件，從而用于開發(fā)新的吸引子網(wǎng)絡(luò)模型和硬件解決方案。
 

圖1. 無(wú)源憶阻器陣列的RNN模型
 

　　研究團(tuán)隊(duì)進(jìn)行了相應(yīng)的實(shí)驗(yàn)驗(yàn)證和聯(lián)想記憶應(yīng)用的演示。在經(jīng)典Hopfield網(wǎng)絡(luò)模型中，吸引子的存儲(chǔ)容量非常有限，僅隨神經(jīng)元數(shù)量線性增加，因此網(wǎng)絡(luò)只能同時(shí)記憶少量的狀態(tài)。盡管可以通過(guò)使用不同的非線性激活函數(shù)或提供不同的權(quán)重配置來(lái)增加存儲(chǔ)容量，但它們僅在算法層次驗(yàn)證，缺少硬件實(shí)現(xiàn)。相比之下，憶阻器是雙向的非易失性神經(jīng)元，它可以在電路中存儲(chǔ)更多的穩(wěn)定狀態(tài)，大大提升了聯(lián)想記憶的存儲(chǔ)容量。最后，研究團(tuán)隊(duì)分析了憶阻器網(wǎng)絡(luò)的概率模型。網(wǎng)絡(luò)能量依賴于憶阻器的阻變閾值電壓和高低電導(dǎo)態(tài)的電導(dǎo)值，它們固有的概率分布屬性，使得網(wǎng)絡(luò)能量和狀態(tài)同樣服從概率分布，形成類似于玻爾茲曼機(jī)的網(wǎng)絡(luò)。
 

圖2. 神經(jīng)元電路的聯(lián)想記憶應(yīng)用
 

　　論文的第一作者是北京大學(xué)集成電路學(xué)院、人工智能研究院2023級(jí)博士研究生李永祥，通訊作者是北京大學(xué)孫仲研究員，共同作者包括北京大學(xué)博士研究生王識(shí)清、楊可(已畢業(yè))和楊玉超教授。這項(xiàng)研究工作獲得國(guó)家重點(diǎn)研發(fā)計(jì)劃、國(guó)家自然科學(xué)基金、北京市自然科學(xué)基金、111計(jì)劃、集成電路高精尖創(chuàng)新中心等項(xiàng)目支持。