Импульсные нейронные сети (ИНС), наиболее биологически реалистичный класс нейросетевых моделей, рассматривались на протяжении текущего столетия как одна из перспективных точек роста нейронауки в целом. Однако, основным препятствием для реализации этого роста является сложность (точнее, крайняя неэффективность) моделирования ИНС на традиционных вычислительных системах. В настоящее время стали появляться (и чем дальше, тем больше) специализированные процессоры, разработанные для эффективной эмуляции ИНС. Это сформировало большие надежды на то, что связка – «ИНС + нейропроцессоры», возможно, будет базой для технологического прорыва в близком будущем в сфере искусственного интеллекта.

В настоящем обзорном докладе рассмотрены различные аспекты как теоретических оснований этой технологии (часто определяемой как «нейроморфные вычисления»), так и вопросы аппаратно-программной реализации и практических применений. После краткого экскурса в историю, в мотивационной части доклада сформулированы характеристические для концепции нейроморфных вычислений принципы, основные преимущества ИНС и нейропроцессоров перед традиционными нейросетями. Затем рассмотрен теоретический базис, лежащий в основе этого направления, кратко описаны основные формальные модели импульсных нейронов, синапсов, архитектуры сетей, методы кодирования информации в ИНС, подходы к их обучению в режимах с учителем и без учителя, механизмы рабочей памяти в ИНС. Обсуждается взаимосвязь между построением теории ИНС и изучением мозга.

Вторая часть доклада посвящена методам компьютерного моделирования ИНС - сначала на традиционных компьютерах и GPU, а затем – на специализированных нейропроцессорах. На примере нейрочипов TrueNorth и Loihi рассмотрены архитектурные принципы построения этих специализированных не-фоннеймановских вычислителей. Рассмотрены также другие существующие проекты по аппаратной поддержке эмуляции больших ИНС. Особое внимание уделено вопросу обучения ИНС на чипе. Далее обсуждаются уже известные и возможные в будущем применения нейрочипов. В заключение дано краткое описание отечественных разработок в этой области, существующие проекты и научные группы, кратко описан исследовательский проект ArNI, проводимый в возглавляемой автором доклада лабораторией нейроморфных вычислений Чувашского государственного университета.

Слайды доклада

Видео доклада.

Литература:

1. Gerstner, W., Kistler, W. Spiking Neuron Models. Single Neurons, Populations, Plasticity. - Cambridge University Press, 2002.
2. Киселев М. В. Импульсные нейронные сети. Представление информации, обучение, память. Palmarium academic publishing, Рига, 2020.
3. Gerstner, W., Kistler, W., Naud, R., Paninski, L. Neuronal Dynamics: From Single Neurons to Networks and Models of Cognition. - Cambridge University Press – 2014.
4. Bi, G. Q., Poo M. M. Synaptic modifications in cultured hippocampal neurons: dependence on spike timing, synaptic strength, and postsynaptic cell type // Journal of Neuroscience – 1998 – Vol. 18, No. 24 – P. 10464–10472.
5. Kiselev M, Ivanov A, Ivanov D. Approximating Conductance-Based Synapses by Current-Based Synapses. In: Kryzhanovsky B., Dunin-Barkowski W., Redko V., Tiumentsev Y. (eds) Advances in Neural Computation, Machine Learning, and Cognitive Research IV. NEUROINFORMATICS 2020. Studies in Computational Intelligence, vol 925, 394-402.
6. Kiselev, M. Rate Coding vs. Temporal Coding – Is Optimum Between? // Proceedings of IJCNN-2016, pp. 1355-1359, 2016.
7. Kiselev, M., Lavrentyev, A.: A Preprocessing Layer in Spiking Neural Networks – Structure, Parameters, Performance Criteria // Proceedings of IJCNN-2019, paper N-19450, 2019.
8. Kiselev M. V. A General Purpose Algorithm for Coding/Decoding Continuous Signal to Spike Form, Proceedings of International Conference on Neuroinformatics in Studies in Computational Intelligence vol. 799, B. Kryzhanovsky, W. Dunin-Barkowski, V. Redko, Yu. Tiumentsev (Eds.), Moscow, 2018, pp 184-189.
9. Bekolay, Trevor. Learning in large-scale spiking neural networks. MS thesis. University of Waterloo, 2011. http://compneuro.uwaterloo.ca/files/publications/bekolay.2011a.pdf
10. Kiselev M. V. A Synaptic Plasticity Rule Providing a Unified Approach to Supervised and Unsupervised Learning, Proceedings of IJCNN-2017, Anchorage, 2017, pp 3806-3813.
11. Szatmary B, Izhikevich E. Spike-Timing Theory of Working Memory. PLoS Computational Biology, 2010; 6(8):e1000879.
12. Киселев М. В. Исследование двухнейронных ячеек памяти в импульсных нейронных сетях, Компьютерные исследования и моделирование, Том 12, №2, 2020, стр. 401-417.
13. Seeholzer A, Deger M, Gerstner W. Stability of working memory in continuous attractor networks under the control of short-term plasticity. PLoS Computational Biology, 2019; 15(4), e1006928.
14. Merolla PA, Arthur JV, Alvarez-Icaza R. A million spiking-neuron integrated circuit with a scalable communication network and interface. Science. 2014; 345(6197), 668–673.
15. Davies M, Srinivasa N, Lin TH et al. Loihi: A Neuromorphic Manycore Processor with On-Chip Learning. IEEE Micro, 2018; 38(1), 82-99.
16. Grishanov NV, Zverev AV, Ipatov DE et al. Neuromorphic Processor Altai for Energy-Efficient Computing, NANOINDUSTRY Russia. 2019; 96, 531-538, doi: 10.22184/1993-8578.2020.13.3s.531.538