Системное автоматизированное проектирование
Информация - Компьютеры, программирование
Другие материалы по предмету Компьютеры, программирование
?рованного параллелизма при обработке информации с использованием элементов-связей ( аналогов синапсов в биологии ) на стадии обучения системы выделило нейронные сети в самостоятельный
класс многопроцессорных вычислительных устройств.
Здесь рассмотрим основные архитектуры нейронных сетей, их общие и функциональные свойства и наиболее распространенные алгоритмы обучения сетей.
ОСНОВНЫЕ АРХИТЕКТУРЫ И ОСОБЕННОСТИ
На рис.1 приведена классификация нейросетевых систем.
Рис.1. Диаграмма, иллюстрирующая связь нейросетевых структур с многопроцессорными архитектурами.
FAN - процессор с распространением возбуждения.
Среди признаков, отличающих нейронные сети, часто называют массированный параллелизм при вычислениях, а также возможность программирования сетей путем обучения или адаптации. Выделяют
также локальность памяти каждого из нейронов.
ЭЛЕМЕНТЫ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ - НЕЙРОНЫ И СВЯЗИ
Нейронная сеть представляет собой совокупность элементов двух типов-процессоров, называемых нейронами, и элементов ( в общем случае также процессоров) - называемых связями между нейронами.
Нейрон - процессор специального вида, который имеет один выход и некоторое число входов (N) (рис.2.). Как правило, предполагается, что все нейроны выполняют одинаковую, сравнительно простую функцию
( либо существует небольшое число типов нейронов с различными функциями), например, сложение величин сигналов , i = 1,...,N , поступающих на его входы ( возможно, с некоторыми весами ). Выходной сигнал нейрона определяется с помощью суммы i вида
= g [] ,
где g - нелинейная функция, определенная для каждого типа нейрона, О - порог. Пороговому элементу
i Маккалока и Питтса соответствует функция g(x), имеющая вид ступеньки ( рис.3.а)
g(x) = O (x) , O(x) = .
Для моделирования некоторых нейроподобных элементов подходит функция, представленная на рис.3 г, вида g(x) = 1 - O (x).Нелинейные функции более общего вида, в которых переходная область имеет конечную ширину а , изображены на рис.3. б и в. Нейроны такого типа удобны для моделирования аналоговых нейронных сетей.
Рис.3. Примеры нелинейных функций отклика нейронов, используемых для моделирования сетей.
Между каждыми двумя нейронами в сети ( с номерами i и j)могут быть установлены две направленные связи: (ij) и (ji) (рис.4).В некоторых случаях, например в модели Хопфилда, эти связи считаются равными. Каждой связи в сети присваивается вес . Это можно выполнить двумя способами. В первом случае считается , что собственно связи между нейронами представляют собой пассивные проводники, параметры которых неизменны. В процессе обучения изменяются веса ( см. рис.1 ), с которыми суммируются входные сигналы на каждом нейроне. При этом нумерация входов всех нейронов предполагается согласованной с нумерацией нейронов в сети. При втором способе все входы в нейрон предполагаются эквивалентными, при обучении изменяются свойства связей ( например, их сопротивления, емкости или коэффициенты усиления входящих в них усилителей ). С точки зрения математического моделирования эти способы могут не различаться. Однако при технической реализации в зависимости от используемой технологии может оказаться предпочтительней один из указанных способов. Например, пороговый вентиль относится
к первому типу, а сеть из аналоговых усилителей с насыщением - ко второму.
ТИПЫ АРХИТЕКТУР
а) Сети Хопфилда
Модель, предложенная Хопфилдом, относится к типу бинарных (или как вариант, биполярных, когда, переменная, описывающая внутреннее состояние нейронов, может принимать и отрицательное значение, например +1 и -1), а ее обучение представляет собой вариант обучения с супервизором. Она основывается на некоторых аналогиях с физическими системами, в частности, со спиновыми стеклами , а также с нелинейными динамическими системами, обладающими подходящей структурой аттракторов в фазовом пространстве. Каждый такой аттрактор может рассматриваться как отдельная запись информации ( образа ) в памяти системы. Релаксация системы из произвольного начального состояния ( имеющего смысл предъявленного
стимула) к устойчивой точке представляет собой физическую аналогию восстановления информации по достаточной ее части - распознавания образов.
В модели Хопфилда состояние системы описывается N -мерным вектором V = (), где
= 0 или 1 - описывает состояние i-го нейрона. Состояние системы, которому соответствует
одна из вершин единичного гиперкуба в N- мерном пространстве, меняется во времени по следующему алгоритму. Каждый нейрон изменяет свое состояние в случайный момент времени со средней скоростью w так, что в следующий момент случайно выбранный элемент с номером i принимает значения
= 1, если и
= 1, если (2)
Здесь - порог срабатывания i-го нейрона. В дальнейшем, как правило, предполагается, что для всех i либо =1/2 .
В последнем случае выбор порогов соответствует переходу к "биполярным" нейронам, состояния которых описываются спиновыми переменными . Поэтому в большинстве случаев можно
просто говорить о