Книги по разным темам
Pages: | 1 | ... | 13 | 14 | 15 | 16 | 17 | ... | 25 | B3 =(1,0,0)
A’1 = (–1,–1,1)
B’1 = (1,–1,–1)
Вычисляем весовую матрицу
W = A’1tB’1 + A’2tB’2 + A’3tB’3
–1 | –1 | 1 | + | 1 | –1 | 1 | + | –1 | 1 | 1 | = | –1 | –1 | 3 |
1 | 1 | –1 | –1 | 1 | –1 | –1 | –1 | 1 | –1 | 3 | –1 | |||
1 | 1 | –1 | 1 | –1 | 1 | 1 | –1 | –1 | 3 | –1 | –1 |
Далее прикладывая входной вектор А = (1,0,0), вычисляем выходной векторО
O = A1t W = (1,0,0)x | 1 | –1 | 3 | = | (–1,–1,3) |
–1 | 3 | –1 | |||
3 | –1 | –1 |
Используя пороговое правило
bi = 1, еслиoi > 0,
bi = 0, еслиoi < 0,
bi = 0, неизменяется, если oi =0
вычисляем
B’1 = (0,0,1),
что является требуемой ассоциацией. Затем,подавая вектор В’1 черезобратную связь на вход первого слоя к Wt получаем
O = B’1 Wt = (0,0,1)x | 1 | –1 | 3 | = | (3,–1,–1) |
–1 | 3 | –1 | |||
3 | –1 | –1 |
что дает значение (1,0,0) после примененияпороговой функции, образуя величину вектора A1.
Этот пример показывает, как входной векторA с использованием матрицы Wпроизводит выходной вектор B. В свою очередь вектор B с использованием матрицы Wt производит вектор A, таким образом в системе формируетсяустойчивое состояние и резонанс.
ДАП обладает способностью к обобщению.Например, если незавершенный или частично искаженный вектор подается в качествеA, сеть имеет тенденцию квыработке запомненного вектора B, который в свою очередь стремится исправить ошибки в A. Возможно, для этого потребуетсянесколько проходов, но сеть сходится к воспроизведению ближайшего запомненногообраза.
Системы с обратной связью могут иметьтенденцию к колебаниям; это означает, что они могут переходить от состояния ксостоянию, никогда не достигая стабильности. В [9] доказано, что все ДАПбезусловно стабильны при любых значениях весов сети. Это важное свойствовозникает из отношения транспонирования между двумя весовыми матрицами иозначает, что любой набор ассоциаций может быть изучен без риска возникновениянестабильности.
Существует взаимосвязь между ДАП ирассмотренными в гл.а6 сетями Хопфилда. Если весовая матрица W является квадратной и симметричной,то W=Wt. В этом случае, если слоиа1 и 2 являютсяодним и тем же набором нейронов, ДАП превращается в автоассоциативную сетьХопфилда.
- ЕМКОСТЬ ПАМЯТИ
Как и сети Хопфилда, ДАП имеет ограниченияна максимальное количество ассоциаций, которые она может точно воспроизвести.Если этот лимит превышен, сеть может выработать неверный выходной сигнал,воспроизводя ассоциации, которым не обучена.
В работе [9] приведены оценки, всоответствии с которыми количество запомненных ассоциаций не может превышатьколичества нейронов в меньшем слое. При этом предполагается, что емкость памятимаксимизирована посредством специального кодирования, при котором количествокомпонент со значениями +1 равно количеству компонент созначениямиа–1 в каждомбиполярном векторе. Эта оценка оказалась слишком оптимистичной. Работа [13] пооценке емкости сетей Хопфилда может быть легко расширена для ДАП. Можнопоказать, что если Lвекторов выбраны случайно и представлены в указанной выше форме, и еслиL меньше чемn/(2а1og2 п), где п – количество нейронов в наименьшемслое, тогда все запомненные образы, за исключением малой части, могут бытьвосстановлены. Например, если па=а1024, тогда Lдолжно быть меньше 51. Если все образы должны восстанавливаться, L должно быть меньшеre/(4а1og2 п), то есть меньше 25. Эти, скорееозадачивающие, результаты показывают, что большие системы могут запоминатьтолько умеренное количество ассоциаций.
В работе [7] показано, что ДАП может иметьдо 2n стабильных состояний,если пороговое значение Твыбирается для каждого нейрона. Такая конфигурация, которую авторы назвалинегомогенной ДАП, является расширением исходной гомогенной ДАП, в которой всепороги были нулевыми. Модифицированная передаточная функция нейрона принимает вэтом случае следующий вид:
OUTi(n+l) = l,если NETi(n) >Ti,
OUTi(n+l) = l,если NETi(n) <Ti,
OUTi(n+l) =OUTi(n), еслиNETi(n) = Ti,
где OUTi(t) – выход нейрона i в момент времени t.
Посредством выбора соответствующего порогадля каждого нейрона количество стабильных состояний может быть сделано любым вдиапазоне от 1 до 2, где песть количество нейронов в меньшем слое. К сожалению, эти состояния не могутбыть выбраны случайно; они определяются жесткой геометрической процедурой. Еслипользователь выбирает Lсостояний случайным образом, причем L меньше (0,68)n2/{[log2(п)] +4}2, и если каждый векторимеет 4 + log2n компонент, равных +1, и остальные, равные –1, то можно сконструироватьнегомогенную ДАП, имеющую 98% этих векторов в качестве стабильных состояний.Например, если п = 1024,L должно быть меньше 3637,что является существенным улучшением по сравнению с гомогенными ДАП, но этонамного меньше 21024возможных состояний.
Ограничение количества единиц во входныхвекторах представляет серьезную проблему, тем более, что теория, котораяпозволяет перекодировать произвольный набор векторов в такой разреженныйнабор, отсутствует. Возможно, однако, что еще более серьезной является проблеманекорректной сходимости. Суть этой проблемы заключается в том, что сеть можетне производить точных ассоциаций вследствие природы поля притяжения; об ееформе известно очень немногое. Это означает, что ДАП не является ассоциаторомпо отношению к ближайшему соседнему образу. В действительности она можетпроизводить ассоциации, имеющие слабое отношение ко входному вектору. Как и вслучае гомогенных ДАП, могут встречаться ложные стабильные состояния и немногоеизвестно об их количестве и природе.
Несмотря на эти проблемы, ДАП остаетсяобъектом интенсивных исследований. Основная привлекательность ДАП заключается вее простоте. Кроме того, она может быть реализована в виде СБИС (либоаналоговых, либо цифровых), что делает ее потенциально недорогой. Так как нашизнания постоянно растут, ограничения ДАП могут быть сняты. В этом случае как вэкспериментальных, так и в практических приложениях ДАП будет являться весьмаперспективным и полезным классом искусственных нейронных сетей.
- НЕПРЕРЫВНАЯ ДАП
В предшествующем обсуждении нейроны вслояха1 и 2 рассматривались как синхронные, каждый нейрон обладает памятью,причем все нейроны изменяют состояния одновременно под воздействием импульса отцентральных часов. В асинхронной системе любой нейрон свободен изменятьсостояние в любое время, когда его вход предписывает это сделать.
Кроме того, при определении функцииактивации нейрона использовался простой порог, тем самым образуя разрывностьпередаточной функции нейронов. Как синхронность функционирования, так иразрывность функций, являются биологически неправдоподобными и совсемнеобязательными; непрерывные асинхронные ДАП отвергают синхронность иразрывность, но функционируют в основном аналогично дискретным версиям. Можетпоказаться, что такие системы должны являться нестабильными. В [9] показано,что непрерывные ДАП являются стабильными (однако для них справедливыограничения емкости, обсужденные ранее).
В работах [2-5] показано, что сигмоидаявляется оптимальной функцией активации благодаря ее способности усиливатьнизкоуровневые сигналы, в то же время сжимая динамический диапазон нейронов.Непрерывная ДАП может иметь сигмоидальную функцию с величиной λ, близкой к единице, образуя темсамым нейроны с плавной и непрерывной реакцией, во многом аналогичной реакцииих биологических прототипов.
Непрерывная ДАП может быть реализована ввиде аналоговой схемы из резисторов и усилителей. Реализация таких схем в видеСБИС кажется возможной и экономически привлекательной. Еще более обещающейявляется оптическая реализация, рассматриваемая в гл.а9.
- АДАПТИВНАЯ ДАП
В версиях ДАП, рассматриваемых до сих пор,весовая матрица вычисляется в виде суммы произведений пар векторов. Этивычисления полезны, поскольку они демонстрируют функции, которые можетвыполнять ДАП. Однако это определенно не тот способ, посредством которогопроизводится определение весов нейронов мозга.
Адаптивная ДАП изменяет свои веса в процессефункционирования. Это означает, что подача на вход сети обучающего наборавходных векторов заставляет ее изменять энергетическое состояние до получениярезонанса. Постепенно кратковременная память превращается в долговременнуюпамять, настраивая сеть в результате ее функционирования. В процессе обучениявекторы подаются на слой А, а ассоциированные векторы на слой В. Один из нихили оба вектора могут быть зашумленными версиями эталона; сеть обучаетсяисходным векторам, свободным от шума. В этом случае она извлекает сущностьассоциаций, обучаясь эталонам, хотя видела только зашумленныеаппроксимации.
Так как доказано, что непрерывная ДАПявляется стабильной независимо от значения весов, ожидается, что медленноеизменение ее весов не должно нарушить этой стабильности. В работе [10] доказаноэто правило.
Простейший обучающий алгоритм используетправило Хэбба [8], в котором изменение веса пропорционально уровню активацииего нейрона-источника и уровню активации нейрона-приемника. Символически этоможно представить следующим образом:
дwij = з*(OUTi OUTj), (7.5)
где дwij– изменение веса связинейрона i с нейрономj в матрицах W или Wt,OUTi – выход нейрона i слояа1 или 2;з – положительный нормирующий коэффициент обучения,меньшийа1.
- КОНКУРИРУЮЩАЯ ДАП
Во многих конкурирующих нейронных системахнаблюдаются некоторые виды конкуренции между нейронами. В нейронах,обрабатывающих сигналы от сетчатки, латеральное торможение приводит кувеличению выхода наиболее высокоактивных нейронов за счет соседних. Такиесистемы увеличивают контрастность, поднимая уровень активности нейронов,подсоединенных к яркой области сетчатки, в то же время еще более ослабляявыходы нейронов, подсоединенных к темным областям.
В ДАП конкуренция реализуется взаимнымсоединением нейронов внутри каждого слоя посредством дополнительных связей.Веса этих связей формируют другую весовую матрицу с положительными значениямиэлементов главной диагонали и отрицательными значениями остальных элементов.Теорема Кохен-Гроссберга [1] показывает, что такая сеть является безусловностабильной, если весовые матрицы симметричны. На практике сети обычно стабильныдаже в случае отсутствия симметрии весовых матриц. Однако неизвестно, какиеособенности весовых матриц могут привести к неустойчивости функционированиясети.
- ЗАКЛЮЧЕНИЕ
Ограниченная емкость памяти ДАП, ложныеответы и некоторая непредсказуемость поведения привели к рассмотрению ее какустаревшей модели искусственных нейронных сетей.
Pages: | 1 | ... | 13 | 14 | 15 | 16 | 17 | ... | 25 | Книги по разным темам