【儀表網(wǎng) 研發(fā)快訊】脈沖神經(jīng)網(wǎng)絡(luò)(Spiking Neural Network，SNN)被譽(yù)為第三代神經(jīng)網(wǎng)絡(luò)，使用更低層次的生物神經(jīng)系統(tǒng)的抽象。它既是神經(jīng)科學(xué)中研究大腦原理的基本工具，又因稀疏計(jì)算、事件驅(qū)動(dòng)、超低功耗的特性，備受計(jì)算科學(xué)的關(guān)注。隨著深度學(xué)習(xí)方法的引入，SNN的性能得到大幅提升，脈沖深度學(xué)習(xí)(Spiking Deep Learning)成為新興的研究熱點(diǎn)。傳統(tǒng)SNN框架更多地關(guān)注生物可解釋性，致力于構(gòu)建精細(xì)脈沖神經(jīng)元并仿真真實(shí)生物神經(jīng)系統(tǒng)，不支持自動(dòng)微分，無法充分利用GPU的大規(guī)模并行計(jì)算能力，并缺乏對(duì)神經(jīng)形態(tài)傳感器和計(jì)算芯片的支持。
 

　　中國科學(xué)院自動(dòng)化研究所研究員李國齊與北京大學(xué)計(jì)算機(jī)學(xué)院教授田永鴻團(tuán)隊(duì)合作，構(gòu)建并開源了脈沖神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)框架SpikingJelly(中文名為“驚蜇”)。“驚蜇”提供了全棧式的脈沖深度學(xué)習(xí)解決方案，支持了神經(jīng)形態(tài)數(shù)據(jù)處理、深度SNN的構(gòu)建、替代梯度訓(xùn)練、ANN轉(zhuǎn)換SNN、權(quán)重量化和神經(jīng)形態(tài)芯片部署等功能。
 

　　“驚蜇”具有如下主要優(yōu)勢。第一，簡單易用。脈沖深度學(xué)習(xí)作為計(jì)算神經(jīng)科學(xué)與深度學(xué)習(xí)的交叉學(xué)科，要求研究人員同時(shí)掌握兩個(gè)領(lǐng)域的知識(shí)體系，但實(shí)際情況是研究人員可能只對(duì)一個(gè)領(lǐng)域有深度了解。“驚蜇”提供了簡單易用的PyTorch風(fēng)格的API、中英文雙語編寫的教程、活躍友善的討論社區(qū)，以及常用的網(wǎng)絡(luò)模型和訓(xùn)練腳本，因此科研人員可以快速進(jìn)行跨領(lǐng)域的學(xué)習(xí)和使用，通過寥寥數(shù)行代碼輕松構(gòu)建并訓(xùn)練深度SNN。第二，擴(kuò)展性強(qiáng)。通過模仿真實(shí)生物神經(jīng)系統(tǒng)或借鑒人工神經(jīng)網(wǎng)絡(luò)的成熟經(jīng)驗(yàn)，改進(jìn)和提出新的SNN算法和模型。這種研究范式已被廣泛使用、成果頗豐。研究人員期望能夠自由地定義和擴(kuò)展新模型，僅需少量代碼改動(dòng)便對(duì)模型行為產(chǎn)生改變。這一開發(fā)理念與“驚蜇”的設(shè)計(jì)哲學(xué)不謀而合。“驚蜇”中的多數(shù)模塊均是通過層次清晰的多重繼承實(shí)現(xiàn)，既為開發(fā)者降低了開發(fā)成本，也給用戶提供了定義新模型的范例。第三，性能卓越。深度學(xué)習(xí)涉及大規(guī)模數(shù)據(jù)處理、大尺度模型訓(xùn)練、脈沖深度學(xué)習(xí)。而SNN特有的額外的時(shí)間維度，使其具有更高的計(jì)算復(fù)雜度，因而脈沖深度學(xué)習(xí)對(duì)計(jì)算資源的需求更高?？紤]到ImageNet這樣百萬規(guī)模樣本的數(shù)據(jù)集已在SNN中廣泛使用，研究愈發(fā)關(guān)注網(wǎng)絡(luò)的訓(xùn)練速度。“驚蜇”利用SNN的特性，通過計(jì)算圖遍歷順序優(yōu)化、JIT(just-in-time compilation，即時(shí)編譯)、半自動(dòng)CUDA代碼生成等技術(shù)來加速SNN仿真，與其他框架相比可達(dá)11倍的訓(xùn)練加速。第三方獨(dú)立社區(qū)Open Neuromorphic組織對(duì)多個(gè)SNN框架進(jìn)行精細(xì)的速度基準(zhǔn)測試。結(jié)果表明，SpikingJelly(驚蜇)具有最快的仿真速度，比其他框架快10倍以上。
 

　　基于“驚蜇”的研究工作已大量出版，將SNN的應(yīng)用從簡單的MNIST數(shù)據(jù)集分類擴(kuò)展到人類水平的ImageNet圖像分類、網(wǎng)絡(luò)部署、事件相機(jī)數(shù)據(jù)處理等實(shí)際應(yīng)用。此外，一些尖端前沿領(lǐng)域的探索也被報(bào)道，包括可校準(zhǔn)的神經(jīng)形態(tài)感知系統(tǒng)、神經(jīng)形態(tài)憶阻器、事件驅(qū)動(dòng)加速器硬件設(shè)計(jì)等。上述應(yīng)用和研究表明，“驚蜇”的開源促進(jìn)了脈沖深度學(xué)習(xí)領(lǐng)域的發(fā)展。
 

　　10月6日，介紹“驚蜇”框架的論文(SpikingJelly: An open-source machine learning infrastructure platform for spike-based intelligence)，在線發(fā)表在《科學(xué)進(jìn)展》(Science Advances)上。研究工作得到國家自然科學(xué)基金、“鵬城云腦”網(wǎng)絡(luò)智能重大科技基礎(chǔ)設(shè)施項(xiàng)目、北京市自然科學(xué)基金的支持。“驚蜇”在2020年至2022年連續(xù)獲得科技部領(lǐng)導(dǎo)的啟智社區(qū)優(yōu)秀開源項(xiàng)目。啟智社區(qū)亦為框架的發(fā)展提供了支持。
 

“驚蜇”的整體結(jié)構(gòu)、示例代碼、仿真速度、生態(tài)位及典型應(yīng)用
 

“驚蜇”中的典型模塊
 

“驚蜇”的典型應(yīng)用