【儀表網(wǎng) 儀表研發(fā)】憶阻器，全稱記憶電阻器，是表示磁通與電荷關(guān)系的電路器件，是除電阻器、電容器和電感器以外的第四大電路元件。它實(shí)際上就是一個(gè)有記憶功能的非線性電阻器。憶阻具有電阻的量綱，但和電阻不同的是，憶阻的阻值是由流經(jīng)它的電荷確定。因此，通過(guò)測(cè)定憶阻的阻值，便可知道流經(jīng)它的電荷量，從而有記憶電荷的作用。
 

　　近年來(lái)，以深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)為代表的人工智能技術(shù)，在人臉識(shí)別、自動(dòng)駕駛、智慧城市和健康監(jiān)測(cè)等領(lǐng)域迅速發(fā)展。然而，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型在處理多任務(wù)連續(xù)學(xué)習(xí)時(shí)面臨災(zāi)難性遺忘問(wèn)題，即神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)新任務(wù)時(shí)會(huì)遺忘已學(xué)到的知識(shí)，導(dǎo)致在執(zhí)行先前任務(wù)時(shí)性能大幅下降。
 

　　中國(guó)科學(xué)院院士、中科院微電子研究所微電子器件與集成技術(shù)重點(diǎn)實(shí)驗(yàn)室研究員劉明團(tuán)隊(duì)研究員尚大山、香港大學(xué)博士王中銳與清華大學(xué)教授劉勇攀等，基于憶阻器存算一體芯片，開(kāi)發(fā)了一款軟-硬件協(xié)同設(shè)計(jì)的連續(xù)學(xué)習(xí)原型系統(tǒng)。
 

　　在軟件方面，受人類大腦啟發(fā)，科研團(tuán)隊(duì)提出了一種基于突觸元可塑性的混合精度連續(xù)學(xué)習(xí)模型(MPCL)。該模型采用前饋全連接神經(jīng)網(wǎng)絡(luò)架構(gòu)，其中隱藏層權(quán)重分別由二值權(quán)重和浮點(diǎn)型權(quán)重兩部分組成(圖a)。模型進(jìn)行多任務(wù)連續(xù)學(xué)習(xí)時(shí)采用非對(duì)稱權(quán)重更新策略，通過(guò)限制與新任務(wù)相關(guān)性弱的權(quán)重更新，平衡權(quán)重的可塑性與穩(wěn)定性，從而有效緩解災(zāi)難性遺忘(圖b)。
 

　　在硬件方面，科研人員將MPCL模型部署在一個(gè)由憶阻器(RRAM)存算一體(IMC)芯片和通用數(shù)字處理器組成的混合模擬數(shù)字硬件系統(tǒng)上(圖c)。通過(guò)將二進(jìn)制權(quán)重映射到憶阻器陣列，該系統(tǒng)采用IMC計(jì)算范式，利用基爾霍夫定律和歐姆定律加速向量矩陣乘法操作，減少了處理器和存儲(chǔ)器之間數(shù)據(jù)傳輸?shù)哪芰亢蜁r(shí)間開(kāi)銷。
 

　　同時(shí)，為減輕憶阻器非理想因素對(duì)系統(tǒng)性能的影響，研究團(tuán)隊(duì)在軟件模擬中重構(gòu)了與硬件完全相同的計(jì)算流程，利用原位精調(diào)的方法優(yōu)化了權(quán)重的映射過(guò)程，并使硬件系統(tǒng)在保持推理準(zhǔn)確率的同時(shí)最大限度地提高計(jì)算并行度(圖d)。
 

　　據(jù)了解，該原型系統(tǒng)在MNIST和Fashion MNIST數(shù)據(jù)集上分別實(shí)現(xiàn)五個(gè)任務(wù)連續(xù)學(xué)習(xí)94.9%和95.3%的平均準(zhǔn)確率(圖e)，同時(shí)，相較于傳統(tǒng)數(shù)字系統(tǒng)，核心運(yùn)算能耗得到大幅降低(圖f)。這種基于憶阻器存算一體能力的連續(xù)學(xué)習(xí)實(shí)現(xiàn)方案，為未來(lái)構(gòu)建具有自適應(yīng)能力的低能耗人工智能體提供了參考。
 

　　近日，相關(guān)研究成果發(fā)表在《先進(jìn)智能系統(tǒng)》(Advanced Intelligent Systems)上。Wiley學(xué)術(shù)出版集團(tuán)科技新聞網(wǎng)站Advanced Science News以Continual learning, just like humans為題，對(duì)該成果進(jìn)行了專題報(bào)道。研究工作得到科技部、國(guó)家自然科學(xué)基金委員會(huì)、中科院與香港大學(xué)的支持。
 

　　a、混合精度連續(xù)學(xué)習(xí)模型程序框圖；b、非對(duì)稱更新策略限制權(quán)重更新；c、基于憶阻器芯片的數(shù)?；旌嫌布到y(tǒng)；d、并行度優(yōu)化前后準(zhǔn)確率對(duì)比；e、多任務(wù)連續(xù)學(xué)習(xí)的硬件準(zhǔn)確率與軟件基準(zhǔn)對(duì)比；f、與數(shù)字系統(tǒng)MAC功耗對(duì)比。