Структура

Лаборатория нейронных сетей

Зав. лабораторией: к.ф.-м.н. Я.Б. Казанович

Тематика работ

Искусственные нейронные сети представляют собой математические или технические конструкции из взаимодействующих нейроноподобных элементов. Нейронные сети используются для математического моделирования в нейробиологии и для создания систем искусственного интеллекта. В соответствии с этим исследования можно разделить на две подобласти - математическая (компьютерная) нейробиология и нейрокомпьютинг. Тематика работ лаборатории связана в первую очередь с моделированием биологических нейронных систем и имеет целью выяснить нейрофизиологические основы обработки информации в мозге.

Экспериментальные исследования мозга показывают, что в работе мозга существенную роль играет динамика электрической активности различных нейронных структур, возникающая в процессе взаимодействие этих структур. В частности, ритмическая активность и ее синхронизация претендуют на роль одного из универсальных механизмов обработки информации в мозге. В электрической активности мозга присутствуют разнообразные ритмические компоненты, в той или иной мере проявляющиеся в различных частотных диапазонах. Характер колебаний коррелирует с внешними воздействиями и психологическим состоянием исследуемого организма. Устойчивые паттерны ритмической активности были обнаружены в различных структурах мозга на уровне отдельных нейронов, нейронных популяций и структур мозга. Такие экспериментальные данные получены в первичных зонах зрительной и обонятельной коры, сенсомоторной коре, в таламусе, в гиппокампе и в других структурах.

Исследования роли колебаний и их синхронизации в работе мозга породили новый раздел теории нейроны сетей - осцилляторные нейроны сети [1-3]. Основные вопросы, на которые должны ответить осцилляторные нейросетевые модели, включают в себя:

  • Каковы условия возникновения различных видов колебаний и их синхронизации. Как объяснить динамику электрической активности различных структур мозга.
  • Какую содержательную обработку информации дает использование колебаний и синхронизации. Как на их основе могут быть реализованы когнитивные процессы.

Работа лаборатории ведется в рамках осцилляторной нейросетевой парадигмы и ориентирована на построение моделей таких когнитивных феноменов как интеграция признаков объекта в цельный образ, внимание, память и детекция новизны. Основные структуры мозга, являющиеся объектами моделирования, новая кора и септо-гиппокампальная система. Основные инструменты исследования - теория динамических систем, бифуркационный анализ и имитационное моделирование в терминах многомерных случайных процессов и систем обыкновенных дифференциальных уравнений.

Основные результаты

  • Разработаны математические модели кратковременной памяти, основанные на теории фазовых переходов [4, 5]. Модели позволили по-новому представить процесс запоминания информации, а также выявили роль метастабильных состояний и коллективного поведения в этом процессе. Новый математический аппарат - теория многокомпонентных взаимодействующих марковских процессов и полей - применен к анализу динамических режимов в стохастических нейронных сетях. Показано, что кооперативные эффекты, напоминающие физические фазовые переходы, а также синхронизация активности являются широко распространенными режимами в нейронных сетях, несмотря на стохастическое поведение отдельных нейронов. Разработанная базовая модель нейронной сети использовалась для моделирования низкочастотных колебаний в септуме, привыкания в гиппокампе, метастабильных состояний в новой коре.
  • Исследованы условия возникновения колебаний нейронной активности и режимов синхронизации колебаний в осцилляторных нейронных сетях с различной архитектурой и с различными типами элементов (пейсмекерные нейроны Ходжкина-Хаксли [6] и Хиндмарша-Роуза [7], импульсные пороговые нейроны [8], осцилляторы Вилсона-Коуэна [9, 10], фазовые осцилляторы [11-14]). Исследована устойчивость синхронизации для биологически обоснованных архитектур и параметров связей.
  • Проведены модельные исследования свойств и роли осцилляторной активности в гиппокампе. [15-18]. Реализована модель рабочей памяти в гиппокампе, способная запоминать и ассоциативно воспроизводить последовательности событий. Изучены паттерны пространственно временной активности в гиппокампе. Предложен новый механизм генерации тета-ритма в септо-гиппокампальной системе, основанный на взаимном торможении нейронов медиального септума и гиппокампа.
  • Разработано модель автономного управления шестиногой ходьбой насекомого палочника, обеспечивающая воспроизведение различных видов походки и высокую устойчивость движения [19]. При обучении ходьбе использовался вариант генетического алгоритма.
  • Принцип синхронизации применен в ряде моделей формирования фокуса внимания [20, 21] и детекции новизны [22]. Исследована динамика формирования фокуса внимания в зависимости от параметров системы. На этой основе построена комбинированная модель зрительного восприятия, сочетающая интеграцию признаков объектов, внимание и детекцию новизны и способная последовательно фокусировать внимание на изолированных объектах зрительной сцены [23].
  • Впервые реализована осцилляторная нейронная модель слежения за одним или многими движущимся объектами в среде, содержащей объекты дистракторы (объекты, отвлекающие внимание) [24]. Продемонстрировано, что модель дает качественное соответствие экспериментальным данным при оценке вероятности ошибки идентификации целевых объектов.
  • Предложена концепция иерархической организации зрительного восприятия [25. 26]. В качестве основного понятия вводятся объемлющие характеристики, образующие иерархию от элементарных признаков до признаков высокого уровня и связывающих перцептивные характеристики объектов в цельные образы и сцены. Нисходящий поток сигналов стимулирует нейроны в тех популяциях, активность которых соответствует объемлющей характеристике высокого уровня, превращая эти нейроны в детекторы совпадения. Благодаря этому формируется быстрый канал передачи сенсорной информации, уникальный для каждого акта восприятия.
  • Разработан ряд методов анализа нейрофизиологических данных [27, 28]. Предложен метод оценки параметров межнейронного взаимодействия по данным нейрофизиологического эксперимента. Тестирование метода с помощью имитационной нейросетевой модели показало его высокую точность. Разработаны принципы наглядной визуализации нейрофизиологических данных при многоканальном отведении.

Основные публикации

  1. Борисюк Г.Н., Борисюк Р.М., Казанович Я.Б., Лузянина Т.Б., Турова Т.С., Цымбалюк Г.С. Осцилляторные нейронные сети. Математические результаты и приложения. Математическое моделирование, 4(1), 3-43, 1992.
  2. Борисюк Г.Н., Борисюк Р.М., Казанович Я.Б., Иваницкий Г.Р. Моделирование динамики нейронной активности и обработка информации в мозге – итоги "десятилетия". Успехи физических наук, 172(10), 1189-1214, 2002.
  3. Kazanovich Y.B. Nonlinear dynamics modeling and information processing in the brain. Optical Memory & Neural Networks, 16(3), 111-124, 2007.
  4. Крюков В.И., Борисюк Г.Н., Борисюк Р.М., Кириллов А.К., Коваленко Е.И. Метастабильные и неустойчивые состояния в мозге. Пущино, ОНИТИ НЦБИ, 1986.
  5. Borisyuk R., Cooke T. (2007) Metastable states, phase transitions, and persistent neural activity. BioSystems, 89:30-37
  6. Чик Д., Борисюк Р.М., Казанович Я.Б. Режимы синхронизация в сети нейронов Ходжкина-Хаксли с центральным элементом. Математическая биология и биоинформатика, т. 3(1), с. 16-35, 2008.
  7. Cymbalyuk G.S., Nikolaev E.V., Borisyuk R.M. In-phase and anti-phase self-oscillations in a model of two electrically coupled pacemakers. Biological Cybernetics, 71, 153-160, 1994.
  8. Borisyuk R. Oscillatory activity in the neural networks of spiking elements. BioSystems, 67,3-16, 2002.
  9. Borisyuk R.M., Kirillov A.B. Bifurcation analysis of a neural network model. Biol. Cybern. 66, 319-325, 1992.
  10. Borisyuk G.N., Borisyuk R.M., Khibnik A.I., Roose D. Dynamics and bifurcations of two coupled neural oscillators with different connection type. Bull. Math. Biol., 57, 809-843, 1995.
  11. Kazanovich Y.B., Borisyuk R.M. Synchronization in a neural network of phase oscillators with the central element, Biol. Cybern., 71, 177-185, 1994.
  12. Kazanovich Y.B., Borisyuk R.M. Dynamics of neural networks with a central element. Neural Networks, 12(3): 441-454, 1999.
  13. Kazanovich Y.B., Borisyuk R.M. Synchronization in oscillator systems with phase shifts. Progr. Theor. Phys., 110, 1047-1058, 2003.
  14. Luzyanina T.B. Synchronization in an oscillator neural network model with time delayed coupling. Network, 6, 43-59, 1995.
  15. Borisyuk R.M. Hoppensteadt, F. (1998) Memorizing and recalling spatial-temporal patterns in an oscillator model of the hippocampus. Biosystems, v.48, 3-10.
  16. Borisyuk R., Hoppensteadt F. (1999) Oscillatory models of the hippocampus: A study of spatio-temporal patterns of neural activity. Biological Cybernetics, 81, 359-371.
  17. Borisyuk R., Denham M., Denham S., Hoppensteadt F. (1999) Computational models of predictive and memory-related functions of the hippocampus. Rev. Neurosci., 10, 213-232.
  18. Denham M., Borisyuk R. (2000) A model of theta rhythm production in the septal-hippocampal system and its modulation by ascending brain stem pathways. Hippocampus, 10, 698-716.
  19. Cymbalyuk G., Borisyuk R., Muller-Wilm U., Cruse H. Oscillatory network controlling six-legged locomotion. Optimization of model parameters. Neural Networks, 11, 1449-1460, 1998.
  20. Kazanovich Y., Borisyuk R. Object selection by an oscillatory neural network. BioSystems, 67(1-3), 103-111, 2002.
  21. Borisyuk R.M., Kazanovich Y.B. Oscillatory neural network model of attention focus formation and control. BioSystems, 71, 29-38, 2003.
  22. Borisyuk R., Denham M., Kazanovich Y., Hoppensteadt F. Vinogradova O. Oscillatory model of novelty detection. Network: Computation in Neural Systems, 12, 1-20, 2001.
  23. Borisyuk R., Kazanovich Y. Oscillatory model of attention-guided object selection and novelty detection. Neural Networks, 17, 899-915, 2004.
  24. Kazanovich Y.B., Borisyuk R.M. An oscillatory neural model of multiple object tracking. Neural Computation, 18, 1413-1440, 2006.
  25. Сергин В.Я. Перцептивное связывание сенсорных событий: Гипотеза объемлющих характеристик. Журнал высшей нервной деятельности, 52(6), 645-655, 2002.
  26. Sergin A.V., Sergin V.Ya. Model of perception: The hierarchy of inclusive sensory characteristics and top-down cascade transfer of excitation. Neural Network World, 18, 227-244, 2008.
  27. Борисюк Г.Н., Борисюк Р.М., Кириллов А.К., Коваленко Е.И., Крюков В.И. Новые методы анализа нейронной активности. Пущино, ОНИТИ НЦБИ, 1986.
  28. Stuart L, Walter M., and Borisyuk R. The Correlation Grid: Analysis of Synchronous Spiking in Multi-dimensional Spike Train Data and Identification of Feasible Connection Architectures. BioSytems, 79:223-233, 2005.

Ведущиеся работы (2009-2011)

Тема: ОСЦИЛЛЯТОРНЫЕ НЕЙРОСЕТЕВЫЕ МОДЕЛИ КОГНИТИВНЫХ ФУНКЦИЙ МОЗГА

Обзор состояния проблемы

Исследование когнитивных функций мозга является одним из ведущих направлений в современной нейробиологии и психологии. Экспериментальные данные показывают, что реализация многих когнитивных функций, таких как интеграция признаков в цельный образ, внимание, восприятие, память реализуются не только путем модуляции уровня активности нейронов, но и в результате синхронизации нейронной активности между различными структурами мозга. Когерентность нейронной активности усиливает реакцию нейронов на стимулы, подавляет реакцию на отвлекающие стимулы, способствует созданию цельного восприятия, обучению и запоминанию зрительных объектов.

Осцилляторые нейросетевые модели когнитивных функций были разработаны как за рубежом (Chen & Wang , Laing & Chow, Buhmann et al., Ursino & La Cara, Palm & Knoblauch), так и в нашей лаборатории. Они позволили воспроизвести такие феномены, как последовательный выбор объектов из зрительной сцены, выбор целевого объекта, расположенного среди объектов дистракторов (дистрактор - объект, отвлекающий внимание), слежение за движущимися объектами. Однако каждая из существующих моделей имеет определенные недостатки. К таким недостаткам относится использование в моделях формальных элементов (осцилляторов Ван-дер-Поля, импульсных осцилляторов Курамото, фазовых осцилляторов), игнорирование известных экспериментальных данных, избыточная сложность моделей и недостаточно высокое качество их функционирования.

Выполняемый проект предполагает преодоление ряда недостатков существующих моделей за счет более широкого применения биологически правдоподобных нейронов типа Ходжкина-Хаксли, а также за счет внесения определенных усовершенствований в архитектуру и принципы функционирования моделей.

В качестве исходного пункта для моделирования будет использована разработанная нами ранее модель внимания с центральным элементом (МВЦО), построенная из фазовых осцилляторов. Эта модель разрабатывалась, исследовалась и использовалась нами в течение более 10 лет и показала свою оригинальность и эффективность. Целью данного исследования является выяснение, насколько результаты, полученные ранее с помощью МВЦО, могут быть воспроизведены в модели из нейронов Ходжкина-Хаксли и какие особенности новой модели могут дать более точное и детальное объяснение имеющимся экспериментальным данным. Мы предполагаем продемонстрировать, что осцилляторные нейронные сети с центральным элементом пригодны не только для моделирования внимания, но позволяют реализовать широкий спектр различных когнитивных функций на единой основе синхронизации колебательной активности.

Обоснование теоретической значимости работы

Сети из нейронов Ходжкина-Хаксли являются широко распространенным типом моделей в теории нейронных сетей. Чаще всего они используются для детального описания динамики сравнительно небольших нейронных ансамблей. Математический анализ сетей из большого числа нейронов затруднен и обычно ведется с помощью аппроксимации при асимптотических предположениях о значениях параметров. Имитационное моделирование таких сетей требует больших затрат вычислительных ресурсов. В связи с этим сети из нейронов Ходжкина-Хаксли редко применялись для моделирования когнитивных функций мозга. Поведение сетей из нейронов Ходжкина-Хаксли с центральным элементом вообще до настоящего времени не изучалось. В данном проекте сети из нейронов Ходжкина-Хаксли будут впервые применены для решения задачи последовательного выбора объектов из зрительной сцены. Это даст возможность проверить соответствие функционирования модели представлениям о заметности объектов, имеющих приоритет при выборе в фокус внимания. Другой областью приложения сетей из нейронов Ходжкина-Хаксли в данном проекте является моделирование восприятия двойственных изображений (типа куба Неккера или вазы Рубина). До настоящего времени эта задача решалась с помощью сетей с глобальными или локальными связями. Целью нашего исследования является проверка возможности построения такого родо моделей на базе сетей с центральным элементом.

В рамках данного проекта предполагается использование сетей из фазовых осцилляторов с центральным элементом для решения задачи выбора объекта и его сегментации на цветном изображении. Такого рода задача поставлена впервые, до настоящего времени имеются лишь работы по использованию осцилляторных нейронных сетей для сегментации черно-белых изображений. Кроме того, сети из фазовых осцилляторов будут использованы для моделирования новых экспериментальных данных относительно синхронизации электрической активности мозга обезьян при обучении их восприятию изображений. Такая работа проводится впервые.

Обоснование предлагаемого решения задач

Исследование динамики осцилляторных нейронных сетей является трудной задачей. Особенно это касается сетей из нейронов Ходжкина-Хаксли. Система включает в себя множество параметров. Требуется подобрать значения этих параметров в физиологически оправданных пределах таким образом, чтобы система имела нужные режимы поведения. В качестве инструментов исследования будет использована смесь бифуркационного анализа и имитационного моделирования. В отличие от аппроксимационных методов бифуркационный анализ является более прямым методом исследования и не требует наложения асимптотических ограничений на параметры модели. Имитационное моделирование будет применяться для массированной проверки адекватности функционирования модели экспериментальным данным и оценки качества решения поставленных задач.

Основным рабочим инструментом моделирования будут осцилляторные нейронные сети с центральным элементом. Архитектура разрабатываемых моделей предусматривает наличие двух модулей. Один из модулей представляет собой одно- или двухслойную сеть из большого числа элементов с локальным взаимодействием осцилляторов как внутри каждого слоя, так и между слоями. Осцилляторы данного модуля называются периферическими и представляют собой нейронные ансамбли, расположенные в стриарной и экстрастриарной зрительной коре. Второй модуль содержит небольшое число элементов, взаимодействующих с периферическими осцилляторами и управляющих динамикой работы сети. Осцилляторы второго модуля называются центральными и представляют собой нейронные ансамбли в теменной, височной и прифронтальной коре. В случае модели внимания периферические осцилляторы играют роль детекторов признаков, а центральный нейрон является упрощенным аналогом центрального управляющего элемента системы внимания.

В зависимости от выбора параметров и правил взаимодействия между осцилляторами в системе возникают различные режимы синхронизации, которые могут быть ассоциированы с когнитивными функциями. Так, например, бистабильность режима синхронизации может ассоциироваться с бистабильностью восприятия двойственных изображений; последовательная синхронизация центрального модуля с одним из нейронных ансамблей ассоциируется с выбором объекта, представленного данным ансамблем, в фокус внимания, и т.д.

Основной задачей, решаемой в рамках проекта, будет поиск оптимальной архитектуры связей и правил обучения, позволяющих решить поставленные задачи в рамках биологически правдоподобных значений параметров. В результате выполнения проекта предполагается получить следующие основные результаты.
  • Модель последовательного выбора объектов из зрительной сцены. Обеспечение приоритета при выборе в фокус внимания для более заметных объектов. Временное подавление активности объектов, не включенных в фокус внимания.
  • Модель восприятия двойственных изображений. Получение временных характеристик бистабильности восприятия, соответствующих экспериментальным данным. Распространение модели на случай мультистабильности (число восприятий больше двух).
  • Модель выбора и сегментации объекта. Демонстрация успешности функционирования модели на реальных цветных изображениях, применяемых в робототехнике.
  • Модель синхронизации нейронной активности при обучении зрительному восприятию. Воспроизведение в модели эволюции частотного спектра в соответствии экспериментальными данными. Воспроизведение динамики изменения уровня синхронизации в модели в соответствии экспериментальными данными.