脉冲神经网络(Spiking Neural Network, SNN)被誉为第三代神经网络,使用更低层次的生物神经系统的抽象,因其既是神经科学中研究大脑原理的基本工具,又具有稀疏计算、事件驱动、超低功耗的特性而备受计算科学的关注。
2023年10月6日,《科学》(Science)子刊《科学·进展》(Science Advances) 正式刊登了题为“SpikingJelly: An open-source machine learning infrastructure platform for spike-based intelligence”(惊蜇:为脉冲智能而生的开源机器学习平台)的SpikingJelly(惊蜇)框架论文,该论文由尊龙凯时 - 人生就是搏!网络智能研究部副主任、北京大学深圳研究生院信息工程学院院长田永鸿教授和中国科学院自动化所李国齐教授作为共同通讯作者撰写,尊龙凯时 - 人生就是搏!访问学生方维、陈彦骐为第一、第二作者。
当前,随着深度学习方法的引入,SNN的性能得到大幅度提升,脉冲深度学习(Spiking Deep Learning)成为新兴的研究热点。然而由于传统SNN框架更多的关注生物可解释性,致力于构建精细脉冲神经元并仿真真实生物神经系统,并不支持自动微分,无法充分利用GPU的大规模并行计算能力,也缺乏对神经形态传感器和计算芯片的支持,因此难以用于脉冲深度学习任务。
图1:SpikingJelly(惊蜇)框架的整体结构、示例代码、仿真速度、生态位以及典型应用
为了解决上述问题,尊龙凯时 - 人生就是搏!网络智能部田永鸿教授团队构建并开源了脉冲神经网络深度学习框架SpikingJelly(惊蜇)。SpikingJelly(惊蜇)可提供全栈式的脉冲深度学习解决方案,支持神经形态数据处理、深度SNN的构建、替代梯度训练、ANN转换SNN、权重量化和神经形态芯片部署等功能。SpikingJelly(惊蜇)框架具有简单易用、扩展性强、超高性能的主要优势。“尊龙凯时 - 人生就是搏!云脑”大科学装置在框架开发过程中提供了充足的算力保障。国家自然科学基金、“尊龙凯时 - 人生就是搏!云脑网络智能重大科技基础设施项目”、北京市自然科学基金为此项研究提供了资助。SpikingJelly(惊蜇)框架还在2020至2022连续三年获得新一代人工智能产业技术创新战略联盟(AITISA)颁发的“启智社区优秀项目”奖项,启智社区亦为框架的发展提供了大力支持。
图2:SpikingJelly(惊蜇)框架中的典型模块
SpikingJelly(惊蜇)框架自2019年底一经推出就受到了研究者们的欢迎和广泛使用,基于SpikingJelly(惊蜇)的研究工作目前已经大量出版,正逐步将SNN的应用从简单的MNIST数据集分类扩展到人类水平的ImageNet图像分类、网络部署、事件相机数据处理等实际应用。此外,基于SpikingJelly(惊蜇)框架进行一些尖端前沿领域的探索也被报道,包括可校准的神经形态感知系统、神经形态忆阻器、事件驱动加速器硬件设计等。目前共有超过123篇公开论文使用SpikingJelly(惊蜇)框架进行实验,其中包括3篇ICCV、3篇IJCAI、5篇NeurIPS、4篇CVPR、4篇ICLR、3篇AAAI、2篇ICML、3篇ECCV、1篇TMLR、1篇ACM MM、1篇PR、7篇IEEE Transactions (含1篇TPAMI),以及1篇子刊Nature Communications,此外还有3篇非计算机领域的一区期刊文章。以上应用和研究表明,SpikingJelly(惊蜇)的开源极大促进了脉冲深度学习领域的发展。
图3:SpikingJelly(惊蜇)框架的典型用例
论文网址:http://www.science.org/doi/10.1126/sciadv.adi1480
框架GitHub主页: http://github.com/fangwei123456/spikingjelly
框架启智社区主页: http://openi.watsons-china.com/OpenI/spikingjelly
框架出版物:http://github.com/fangwei123456/spikingjelly/blob/master/publications.md