Лаборатория нейронных сетей
Главная страница
ОБЗОР: ОСЦИЛЛЯТОРНЫЕ НЕЙРОСЕТЕВЫЕ МОДЕЛИ ВНИМАНИЯ
Осцилляторные модели внимания - один из типов нейронных сетей, предназначенных для моделирования психологических и нейробиологических аспектов внимания и использующих в своей работе принципы синхронной динамики элементов сети.
Содержание
1. Биологические основы. Мотивация и задачи исследований
2. Конструктивные элементы и архитектуры моделей
3. Осцилляторные модели внимания с центральным элементом
3.1. Основные принципы
3.2. Частичная синхронизация
3.3. Выбор объектов и детекция новизны
3.4. Слежение за движущимися объектами
4. Текущая работа: Сегментация объектов и внимание
5. Перспективы
1. Биологические основы. Мотивация и задачи исследований
Под вниманием обычно понимается система (процесс) фильтрации, позволяющая выделить из входной информации ту ее часть, которая, предположительно, наиболее важна в данный момент времени и которая должна быть обработана с большей тщательностью. Нейробиологические исследования позволили выявить два типа модулирования нейронной активности в коре, связанные с вниманием. Во-первых, имеет место увеличение активности нейронов, представляющих стимул, находящийся в фокусе внимания, в то время как активность нейронов, представляющих отвлекающие стимулы, понижается до низкого уровня. Во-вторых, наблюдается повышение когерентности нейронной активности, вызванной в различных областях коры стимулом, находящимся в фокусе внимания.
Основные психологические феномены, являющиеся традиционным объектом математического моделирования, - это последовательный выбор и сегментация объектов в зрительной сцене, поиск объектов по комбинации их признаков и слежение за движущимися объектами. Осцилляторные модели внимания предназначены для воспроизведения экспериментальных фактов, касающихся характера нейронной активности, временных характеристик процесса восприятия и возникающих ошибок, основываясь на принципах синхронизации активности в нейронных сетях.
Интерес к осцилляторным моделям внимания обусловлен тем фактом, что они опираются на единообразный подход к проблемам внимания и интеграции признаков в цельные образы (так называемая проблема байндинга связывания). Этот подход формулируется как гипотеза временной корреляции, согласно которой синхронная нейронная активность является общим механизмом представления стимулов в коре. Предполагается, что синхронизованность входных сигналов, приходящих на нейрон, порождает увеличение постсинаптического потенциала этого нейрона, в результате усиливая его импульсную активность. Таким образом, роль внимания может сводиться к повышению синхронизации работы нейронов, представляющих стимул в фокусе внимания, и десинхронизации этой активности относительно нейронов, представляющих отвлекающие стимулы. В последнее время получены данные, свидетельствующие о том, что повышение синхронизация в зрительной коре при внимании является следствием синхронизующего воздействия, исходящего от так называемого центрального управляющего элемента системы внимания, находящегося в префронтальной коре.
2. Конструктивные элементы и архитектуры моделей
Осцилляторные модели внимания опираются на общие принципы конструирования и функционирования, разработанные в теории осцилляторных нейронных сетей. Сети строятся из элементов, способных работать в колебательном режиме и синхронизовать свою активность с другими элементами сети. В некоторых случаях модели сочетают осцилляторные элементы и традиционные искусственные возбуждающие и тормозные нейроны. В качестве осцилляторного элемента может использоваться пейсмекерный нейрон или нейронный осциллятор, представляющий две взаимодействующие популяции возбуждающих и тормозных нейронов, работающие в осцилляторном режиме. Наиболее часто используются следующие типы элементов: нейроны типа Ходжкина-Хаксли, взаимодействующие популяции пороговых импульсных нейронов, осцилляторы Вилсона-Коуэна, осцилляторы Ван-дер-Поля, импульсные осцилляторы Курамото, фазовые осцилляторы Курамото.
Архитектуры связей, используемые в моделях внимания, повторяют традиционные архитектуры с несколькими слоями нейронов. При этом обычно имеются не только связи между слоями, но и внутрислойные (латеральные) связи. Используется также специальная архитектура, называемая сетью с центральным элементом. Под центральным элементом понимается слой, состоящий из одного или небольшого числа элементов сети и имеющий глобальные связи со всеми или большинством элементов сети, что позволяет центральному элементу управлять динамикой всей системы внимания. Выбор объекта в фокус внимания с помощью центрального элемента реализуется путем синхронизации активности центрального элемента с ансамблем элементов, представляющих данный объект. При этом синхронизованный ансамбль может получить дополнительную активацию, в то время как активность других элементов тормозится или подавляется.
3. Осцилляторные модели внимания с центральным элементом
3.1. Основные принципы
Основной принцип функционирования модели внимания с центральным элементом состоит в том, что фокус внимания представлен осцилляторами, которые работают синхронно или синфазно с центральным элементом. Предполагается, что центральный элемент (ЦЭ) модели играет роль центрального управляющего элемента системы внимания. Остальные осцилляторы предназначены для кодирования признаков внешних стимулов. В дальнейшем эти осцилляторы будут именоваться детекторами признаков (ДП). Архитектура модели внимания с центральным элементом приведена на рис. 1. Детекторы признаков образуют плоский слой с локальными связями. Между ЦЭ и всеми ДП имеются прямые и обратные связи.
Рис. 1. Архитектура связей в сети с центральным элементом. (ЦЭ). Коричневая стрелка показывает, что собственные частоты детекторов признаков (ДП) задаются в зависимости от входного изображения (более заметным участкам изображения соответствуют более высокие собственные частоты). Черные стрелки показывают действие возбуждающих/синхронизующих связей. Эти связи используются 1) для связывания ДП, кодирующих один объект, в синхронный ансамбль; 2) для синхронизации этого ансамбля с ЦЭ. Полая стрелка показывает тормозные/десинхронизующие связи. Эти связи используются для того, чтобы предотвратить синхронизацию ЦЭ одновременно с несколькими ансамблями ДП.
3.2. Частичная синхронизация (Kazanovich & Borisyuk, 1999; Borisyuk & Kazanovich, 2003; Chik et al., 2009a, Chik et al., 2009b; Борисюк и др., 2008)
В зависимости от значений параметров (собственных частот осцилляторов, коэффициентов связи, временных задержек в передаче сигналов) в осцилляторной нейронной сети может установиться тот или иной режим синхронной динамики. Для моделирования внимания наибольший интерес представляет режим частичной синхронизации. Этот режим соответствует ситуации, когда во входном изображении одновременно присутствуют несколько объектов, но только один их них должен быть выбран в фокус внимания. При частичной синхронизации ЦЭ работает синхронно (синфазно) с ансамблем ДП, представляющим признаки объекта, находящегося в фокусе внимания в текущий момент времени. Остальные ДП работают асинхронно по отношению к ЦЭ. Диаграмма различных типов динамики в модели внимания, построенной из пейсмекерных нейронов Ходжкина-Хаксли, приведена на рис. 2.
Рис. 2. Диаграмма динамических режимов модели внимания, построенной из нейронов Ходжкина-Хаксли. В модели имеются две группы ДП, обозначенные как A и B. По осям показаны значения (в миллиамперах) внешних токов I1 и I2, ,подаваемых, соответственно, на осцилляторы групп A и B и определяющих собственные частоты этих осцилляторов. На диаграмме показаны области параметров (внешних токов), соответствующие следующим динамическим режимам:
полная синхронизация – все ДП работают синхронно с ЦЭ;
переходное состояние – сложные виды синхронной динамики между ЦЭ и ДП;
частичная синхронизация – синхронизация ЦЭ с одной из групп ДП, импульсная активность в другой группе подавляется;
безимпульсный режим – импульсная активность в обеих группах нейронов подавлена, имеют место лишь флуктуации мембранного потенциала (Борисюк и др., 2008).
В данной модели возможно также хаотическое поведение, когда частичная синхронизация автоматически переключается с одной группы признаков на другую (рис. 3). Этот режим был нами использован для моделирования бистабильности восприятия.
Рис. 3. Моделирование бистабильного восприятия. Хаотическое переключение частичной синхронизации между двумя группами ДП, приводящее к перемежающейся активности в этих группах. На графиках показано изменение мембранного потенциала трех осцилляторов из группы A и трех осцилляторов из группы B (Chik et al., 2009b).
3.3. Выбор объектов и детекция новизны (Borisyuk & Kazanovich, 2004)
Осцилляторная модель внимания с центральным элементом была использована для моделирования последовательного выбора объектов, одновременно присутствующих в зрительной сцене (рис. 4). Правила, задающие динамику модели, сформулированы таким образом, что активность осцилляторов, представляющих объект, уже выбиравшийся в фокус внимания, подавляется на определенный промежуток времени. В силу этого предотвращается выбор одного и того же объекта в фокус внимания, что позволяет переключать внимание с одного объекта на другой. Система внимания может быть объединена с системой детекции новизны, также работающей на осцилляторных принципах. В этом случае один и тот же объект, расположенный в разных местах зрительного поля, включается в фокус внимания только однажды, когда он распознается как новый объект. При попытке включить его в фокус внимания повторно детектор новизны распознает объект как известный, после чего фокусировка внимания на этом объекте прерывается.
Рис. 4. Последовательный выбор объектов (букв) из изображения слова HELLO. Вертикальные оси на графиках показывают амплитуду колебаний осцилляторов, расположенных в соответствующих пикселях. Порядок выбора букв не совпадает с процессом чтения слева направо, а зависит от размера букв (точнее, от числа пикселей, представляющих букву). Время дано в секундах (Borisyuk & Kazanovich, 2004).
3.4. Слежение за движущимися объектами (Kazanovich & Borisyuk, 2006; Казанович и Борисюк, 2006)
Одно из преимуществ осцилляторных моделей внимания состоит в возможности их использования для слежения за движущимися объектами. Поскольку эти модели оперируют в основном не в физическом, а в фазово-частотном пространстве, представление в этих терминах зрительных объектов инвариантно относительно расположения этих объектов в поле зрения. В модели внимания с центральным элементом было реализовано одновременное слежение за заданным числом целевых объектов В этой модели синхронно работающие ансамбли ДП конкурируют за синхронизацию с ЦЭ, при этом только заданное число ансамблей может выиграть эту конкуренцию в любой момент времени. Пример слежения за несколькими целевыми объектами, движущимися среди объектов-дистракторов, приведен на рис. 5. В психофизических экспериментах было показано, что при наличии объектов-дистракторов испытуемые могут одновременно следить за не более чем пятью идентичными целевыми объектами. При этом вероятность ошибки слежения за целевыми объектами возрастает по мере увеличения числа этих объектов. Этот факт был объяснен в терминах модели как следствие ограниченности фазового пространства. Из-за этого различные осцилляторы вносят возмущение в динамику друг друга и таким образом могут нарушить частичную синхронизацию ЦЭ с одним из ансамблей ДП.
Рис. 5. Слежение за несколькими движущимися объектами. Спонтанное переключение внимания с целевого объекта на объект-дистрактор. Последовательность рамок (слева направо и сверху вниз) показывает эволюцию входного изображения. Входное изображение, предъявляемое системе внимания, состоит из 10 идентичных черных квадратов, движущихся на белом фоне. Система одновременно следит за пятью квадратами (на рисунке цвета используются для маркирования областей поля зрения, включенных в фокус внимания), движущимися среди пяти объектов-дистракторов (показанных на рисунке как черные квадраты). Рамки (2-4) показывают момент, когда внимание спонтанно переключается с одного из целевых объектов на объект-дистрактор (зеленый маркер совершает скачок с одного объекта слежения на другой). Это приводит к возникновению ошибки слежения. Рамки (5-8) соответствуют ситуации, когда внимание спонтанно переключается с одного объекта-дистрактора на другой. При этом увеличения числа ошибок слежения не происходит (Казанович и Борисюк, 2006).
4. Текущая работа: Сегментация объектов и внимание (Borisyuk et al., 2009)
Проблема фокусировки внимания на зрительном объекте тесно связана с проблемой сегментации объектов на изображении, поскольку выбираемый объект должен быть отделен от других объектов и от фона. Сегментация объектов на изображении является классической задачей теории компьютерного зрения. Для определения границ между объектами используются различные цифровые фильтры. К сожалению, получаемые в результате применения фильтров границы не являются идеальными. Помимо границ на изображении обычно возникают дополнительные шумы и ложные объекты. Для устранения этого недостатка фильтрации мы применили комбинацию алгоритмов, выделяющих контуры объектов, и нейросетевой модели внимания. Модель внимания представляет собой двухслойную сеть фазовых осцилляторов с центральным элементом. Первый слой сети получает входные сигналы о приближенном контуре объекта, определенном с помощью цифровых фильтров. Эта информация используется для получения синхронного ансамбля осцилляторов, представляющего внутреннюю часть объекта в фокусе внимания. Второй слой предназначен для окончательного выделения объекта и подавления шумов и ложных объектов. Это осуществляется путем распространения синхронной активности из внутренней части объекта на весь объект. ЦЭ используется для десинхронизации ансамбля, представляющего объект в фокусе внимания, и осцилляторов, представляющих другие объекты. Пример функционирования системы сегментации объекта в фокусе внимания приведен на рис. 6. Исходное изображение получено камерой робота а процессе решения задачи захвата одного из шаров рукой робота.
5. Перспективы
Разработка большинства динамических нейросетевых моделей была ориентирована на воспроизведение отдельных когнитивных функций мозга или даже конкретных результатов нейробиологических исследований. Мы считаем, что существенный прогресс в данной области может быть достигнут, если будут разработаны комплексные модели, объединяющие в своих функциональных способностях различные когнитивные функции. В число этих когнитивных функций с необходимостью должен входить следующий набор: сегментация объектов, внимание, детекция новизны, распознавание образов, кратковременная и долговременная память. Создание таких систем позволит решить важнейшие задачи искусственного интеллекта: разделение и распознавание наложившихся объектов, поиск заданного объекта в сложной зрительной сцене и слежение за движущимися объектами на сложном фоне. Кроме этого, возможности воспроизведения результатов нейробиологических и психологических экспериментов, связанных с этими задачами, будут значительно расширены. Разработка такой системы, работающей на принципах осцилляторной динамики, синхронизации и резонанса, является насущной проблемой для ближайшего будущего.
Список литературы
Казанович Я.Б., Борисюк Р.М. (2006) Нейросетевая модель слежения за несколькими объектами. Нейроинформатика (электронный журнал), 1(1), 4-33.
Чик Д., Борисюк Р.М., Казанович Я.Б. (2008) Режимы синхронизация в сети нейронов Ходжкина-Хаксли с центральным элементом. Математическая биология и биоинформатика (электронный журнал), 3(1), 16-35.
Chik D., Borisyuk R., Kazanovich Y. (2009a) Selective attention model with spiking elements. Neural Networks, 22, 890-900.
Chik D., Borisyuk R., Kazanovich Y. (2009b) Visual perception of ambiguous figures: Synchronization based neural models. Biological Cybernetics, 100, 491-504.
Borisyuk R.M., Kazanovich Y.B. (2003) Oscillatory neural network model of attention focus formation and control. BioSystems, 71, 29-38.
Borisyuk R., Kazanovich Y. (2004) Oscillatory model of attention-guided object selection and novelty detection. Neural Networks, 17, 899-915.
Borisyuk R., Kazanovich Y., Chik D., Tikhanoff V., Cangelosi A. (2009) A neural model of selective attention and object segmentation in the visual scene: An approach based on partial synchronization and star-like architecture of connections. Neural Networks, 22, 707-719,
Kazanovich Y.B., Borisyuk R.M. (1999) Dynamics of neural networks with a central element. Neural Networks, 12, 149-161.
Kazanovich Y.B., Borisyuk R.M. (2006) An oscillatory neural model of multiple object tracking. Neural Computation, 18, 1413-1440.
|
