Системное автоматизированное проектирование
Информация - Компьютеры, программирование
Другие материалы по предмету Компьютеры, программирование
моделях (0,1) и (+_1), определяя тем самым возможные состояния элементов при нулевых порогах.
Для хранения образов памяти , s= 1,..., n используется матрица связей следующего вида:
, i-=j , (3)
В такой сети воздействие на i-нейрон будет определяться выражением для "силы"( являющейся аналогом мембранного потенциала в нейробиологии)
i-=j, = 0.
Для случайно выбранных векторов среднее значение члена в скобках равно нулю, если s-=s. Тогда справедливо выражение:
принимает положительные значения при = 1 и отрицательные при =0.
Поэтому при пренебрежении шумом, даваемым членами с s-=s, состояние образов памяти устойчиво
( во всяком случае , при n < N ). Возможно появление дополнительных устойчивых состояний сети, не совпадающих с векторами памяти - "ложные образы ".
Динамика нейронной сети, описываемая уравнениями (2)-(3), имеет в качестве аттракторов только устойчивые стационарные точки. В случае симметричной матрицы Т в системе возможно наличие
большого числа стационарных состояний. Теория дискретных сетей Хопфилда получила в последнее время
значительное развитие. Возможность введения функции, имеющей смысл энергии, уменьшающейся в процессе релаксации начального состояния системы, позволила применить для исследования системы
хорошо разработанный аппарат статистической физики. В частности, введение сопряженной к энергии величины - эффективной "температуры" - позволило исследовать структуру устойчивых состояний и воз-
можности их изменения в процессе обучения .
Возможна реализация нейронной сети на аналоговых элементах (операционных усилителях). Это позволяет использовать их для решения задач комбинаторной оптимизации, коммивояжере, задаче о
раскраске карт, задаче оптимизации размещения электронных элементов на чипе.
б) СЕТЬ КОСКО
Коско предложил модель нейронной сети с синхронной динамикой, которая получила название двунаправленной ассоциативной памяти ( bidirectional associative memory, BAM). Она представляет инте-
рес для оптических реализаций нейронных сетей. В этой модели вся совокупность нейронов разделена на подмножества ( вообще говоря, различной мощности) - А и В . Сеть устроена таким образом, что
выходы нейронов подсети А связаны с входами нейронов подсети В и наоборот( см. рис. ). Матрица связей строится по правилу:
оно имеет вид суммы прямых произведений векторов памяти
Рис. Схема модели двунаправленной ассоциативной памяти Коско.
Динамика этой системы описывается парой уравнений
,
.
Так же, как и в случае модели Хопфилда, для ВАМ единственными аттракторами в фазовом пространстве являются устойчивые стационарные точки, называемые парой ( ). Эти точки достигаются
из произвольного начального состояния - пары векторов ( ).
Имеются модификации нейронной сети Коско:
- за счет введения матриц связи общего вида ( ассиметричных, удовлетворяющих принципу "детального баланса"),
- за счет введения ненулевых порогов, что позволяет увеличить число устойчивых состояний системы ( их число в общем случае N находится между 1 и 2 ).
в) ХЕММИНГОВА СЕТЬ
Хеммингова сеть представлена на рис. .
Она состоит из двух частей. Нижняя подсеть служит для формирования по входу - бинарному вектору длиной N - начального состояния для нейронов верхней подсети. Число нейронов в ней M.
Веса связей для нижней подсети и для верхней, а также пороги для нижней подсети устанавливаются по следующим правилам:
, = N/2 , i=1,...,N , j=1,..., M, (4)
.
Пороги для верхней подсети устанавливаются равными нулю. В выражении (4) - i-ый элемент j-го вектора памяти (число нейронов в среднем слое M совпадает с числом записанных образов).
Рис. Схематическое изображение хемминговой сети.
В данной сети выполняются итерации для нейронов верхней подсети
при начальном условии
.
Функция g в этих выражениях соответствует рис.3б, причем динамика чувствительна к выбору величины переходной области а. Процесс итераций продолжается до тех пор, пока выходы всех нейронов,
за исключением одного, не станут отрицательными.
Имеется другое название сети Хемминга - сеть с латеральным торможением ( явление латерального торможения широко распространено в нейрофизиологии).
г) ПЕРЦЕПТРОНЫ
Простейший персептрон состоит из одного слоя нейронов, соединенных связями с N входами. Соответствующая схема представлена на рис. .
Веса связей обозначены , i=1,...,N , j=1,...,M (M - число нейронов - пороговых элементов в слое). Каждый из нейронов осуществляет нелинейное преобразование сигналов, поступающих на его вход, согласно выражению (1)
, (6)
где g - пороговая функция, изображенная на рис.3а, - входные значения, = 0,1 - переменные характеризующие выходы нейронов. Переменные могут принимать произвольные значения ( в частности, могут быть аналоговыми). Согласно ( 6 ), персептрон разделяет все N -мерное пространство входных переменных { } на классы посредством гиперплоскостей. Они определяются уравнениями вида:
Может существовать не более 2 таких классов. Веса связей и порог?/p>