Книги по разным темам Pages:     | 1 |   ...   | 12 | 13 | 14 | 15 | 16 |   ...   | 25 |

3. ОБСУЖДЕНИЕ
1. окальныеминимумы

Сеть, выполняющая аналого-цифровоепреобразование, всегда находит единственное оптимальное решение. Этообусловлено простой природой поверхности энергии в этой задаче. В задачекоммивояжера поверхность энергии сильно изрезана, изобилует склонами, долинамии локальными минимумами и нет гарантии, что будет найдено глобальноеоптимальное решение и что полученное решение будет допустимым. При этомвоникают серьезные вопросы относительно надежности сети и доверия к еерешениям. Эти недостатки сети смягчаются тем обстоятельством, что нахождениеглобальных минимумов для NP-полных задач является очень трудной задачей,которая не может быть решена в приемлемое время никаким другим методом. Другиеметоды значительно более медленны и дают не лучшие результаты.

2. Скорость

Способность сети быстро производитьвычисления является ее главным достоинством. Она обусловлена высокой степеньюраспараллеливания вычислительного процесса. Если сеть реализована на аналоговойэлектронике, то решение редко занимает промежуток времени, больший несколькихпостоянных времени сети. Более того, время сходимости слабо зависит отразмерности задачи. Это резко контрастирует с более чем экспоненциальным ростомвремени решения при использовании обычных подходов. Моделирование с помощьюоднопроцессорных систем не позволяет использовать преимущества параллельнойархитектуры, но современные мультипроцессорные системы типа Connection Machine(65536 процессоров!) весьма многообещающи для решения трудныхзадач.

3. Функцияэнергии

Определение функции энергии сети взависимости от задачи не является тривиальным. Существующие решения былиполучены с помощью изобретательности, математического опыта и таланта, которыене разбросаны в изобилии. Для некоторых задач существуют систематические методынахождения весов сети. Эти методы излагаются в гл.а7.

4. Емкостьсети

Актуальным предметом исследований являетсямаксимальное количество запоминаемой информации, которое может храниться в сетиХопфилда. Так как сеть из n двоичных нейронов может иметь 2n состояний, то исследователи былиудивлены, обнаружив, что максимальная емкость памяти оказалась значительноменьшей.

Если бы могло запоминаться большоеколичество информационных единиц, то сеть не стабилизировалась бы на некоторыхиз них. Более того, она могла бы помнить то, чему ее не учили, т.ае. могластабилизироваться на решении, не являющемся требуемым вектором. Эти свойстваставили в тупик первых исследователей, которые не имели математических методовдля предварительной оценки емкости памяти сети.

Последние исследования пролили свет на этупроблему. Например, предполагалось, что максимальное количество запоминаемойинформации, которое может храниться в сети из N нейронов и безошибочно извлекаться,меньше чем cN2, где c – положительная константа, большаяединицы. Хотя этот предел и достигается в некоторых случаях, в общем случае оноказался слишком оптимистическим. В работе [4] было экспериментально показано,что в общем случае предельное значение емкости ближе к 0,15N. В работе [1] было показано, что числотаких состояний не может превышать N, что согласуется с наблюдениями над реальными системами и являетсянаилучшей на сегодняшний день оценкой.

4. ВЫВОДЫ

Сети с обратными связями являютсяперспективным объектом для дальнейших исследований. Их динамическое поведениеоткрывает новые интересные возможности и ставит специфические проблемы. Какотмечается в гл.а9, эти возможности и проблемы сохраняются при реализациинейронных сетей в виде оптических систем.

1. итература

1. Abu-MostafaаY.аS., St. Jacques, J. 1985. Information capacity ofthe Hopfield model. IEEE Transactions on Information Theory31(4):461-64.
2. CohenаM.аA., GrossbergаS.аG. 1983. Absolute stability of globalpattern formation and parallel memory storage by compatitive neural networks.IEEE Transactions on Systems, Man and Cybernetics 13:815-26.
3. QareyаM.аR., JohnsonаD.аS. 1979. Computers and intrac-tality. NewYork: W.H. Freeman.
4. GrossbergаS. 1987. The adapptive brain, vol.а1 andа2. Amsterdam:North-Holland.
5. HintonаG.аE., SejnowskiаT.аJ. 1986. Learning and relearning inBoltzmann machines. In Parallel distributed processing, vol.а1, pp.а282-317.Cambridge, MA: MIT Press.
6. HorfieldаJ.аJ. 1982. Neural networks and physical systems withemergent collective computational abilities. Proceedings of the NationalAcademy of Science 79:2554-58.
7. HorfieldаJ.аJ. 1984. Neural with graded response have collectivecomputational properties like those of two-state neurons. Proceedings of theNational Academy of Science 81:3088-92.
8. HorfieldаJ.аJ., TankаD.аW. 1985. Neural computation of decisionsin optimization problems. Biological Cybernetics 52:141-52.
9. HorfieldаJ.аJ., TankаD.аW. 1986. Computing with neural circuits: Amodel.Science 233:625-33.
10. TankаD.аW., HorfieldаJ.аJ. 1986. Simple neural optimizationnetworks: An A/D converter, signal decision circuit, and a linear programmingcircuit. Circuits and Systems IEEE Transactions onCAS-33(5):533-41.
11. Van den BoutаD.аE. and MillerаТ.аК. 1988. A traveling salesmanobjective function that works. Proceedings of the IEEE International Conferenceon Neural Networks, vol.а2, pp.а299-304. San Diego, CA:аSOSPrinting.

16. Глава 7.
    Двунаправленная ассоциативнаяпамять

Память человека часто являетсяассоциативной; один предмет напоминает нам о другом, а этот другой о третьем.Если позволить нашим мыслям, они будут перемещаться от предмета к предмету поцепочке умственных ассоциаций. Кроме того, возможно использование способности кассоциациям для восстановления забытых образов. Если мы забыли, где оставилисвои очки, то пытаемся вспомнить, где видели их, в последний раз, с кемразговаривали и что делали. Посредством этого устанавливается конец цепочкиассоциаций, что позволяет нашей памяти соединять ассоциации для получениятребуемого образа.

Ассоциативная память, рассмотренная в гл.а6,является, строго говоря, автоассоциативной, это означает, что образ может бытьзавершен или исправлен, но не может быть ассоциирован с другим образом. Данныйфакт является результатом одноуровневой структуры ассоциативной памяти, вкоторой вектор появляется на выходе тех же нейронов, на которые поступаетвходной вектор.

Двунаправленная ассоциативная память (ДАП)является гетероассоциативной; входной вектор поступает на один набор нейронов,а соответствующий выходной вектор вырабатывается на другом наборе нейронов. Каки сеть Хопфилда, ДАП способна к обобщению, вырабатывая правильные реакции,несмотря на искаженные входы. Кроме того, могут быть реализованы адаптивныеверсии ДАП, выделяющие эталонный образ из зашумленных экземпляров. Этивозможности сильно напоминают процесс мышления человека и позволяютискусственным нейронным сетям сделать шаг в направлении моделированиямозга.

В последних публикациях [9,12] представленонесколько форм реализации двунаправленной ассоциативной памяти. Как большинствоважных идей, изложенные в этих работах идеи имеют глубокие корни; например, вработе Гроссберга [6] представлены некоторые важные для ДАП концепции. В даннойработе ссылки приводятся не с целью разрешения вопроса о приоритетеисследовательских работ, а исключительно для освещения их вклада висследовательскую тематику.

1. СТРУКТУРА ДАП

Рис.а7.1. Конфигурация двунаправленнойассоциативной памяти

На рис.а7.1 приведена базовая конфигурацияДАП. Эта конфигурация существенно отличается от используемой в работе [9]. Онавыбрана таким образом, чтобы подчеркнуть сходство с сетями Хопфилда ипредусмотреть увеличения количества слоев. На рис.а7.1 входной векторА обрабатывается матрицейвесов W сети, в результатечего вырабатывается вектор выходных сигналов нейронов В. Вектор В затем обрабатывается транспонированнойматрицей Wt весов сети, которая вырабатывает новые выходные сигналы,представляющие собой новый входной вектор А. Этот процесс повторяется до тех пор,пока сеть не достигнет стабильного состояния, в котором ни вектор А, ни вектор В не изменяются. Заметим, что нейроны вслояха1 и 2 функционируют, как и в других парадигмах, вычисляя сумму взвешенныхвходов и вычисляя по ней значение функции активации F. Этот процесс может быть выраженследующим образом:

(7.1)

или в векторной форме:

В = F(AW), (7.2)

где В – векторвыходных сигналов нейронов слояа2, А – векторвыходных сигналов нейронов слояа1, W – матрицавесов связей между слоямиа1 и 2, F – функцияактивации.

Аналогично

A = F(BWt) (7.3)

где Wt является транспозицией матрицыW.

Как отмечено в гл.а1, Гроссберг показалпреимущества использования сигмоидальной (логистической) функцииактивации

(7.3)

где OUTi – выходнейрона i, NETi – взвешенная сумма входных сигналовнейрона i, λ – константа, определяющая степенькривизны.

В простейших версиях ДАП значение константыλ выбирается большим,в результате чего функция активации приближается к простой пороговой функции. Вдальнейших рассуждениях будем предполагать, что используется пороговая функцияактивации.

Примем также, что существует память внутрикаждого нейрона в слояха1 и 2 и что выходные сигналы нейронов изменяютсяодновременно с каждым тактом синхронизации, оставаясь постоянными между этимитактами. Таким образом, поведение нейронов может быть описано следующимиправилами:

OUTi(n+1) = 1, если NETi(n)>0,

OUTi(n+l) = 0, если NETi(n)<0,

OUTi(n+l) = OUT(n), если NETi(n) = 0,

где OUTi(n) представляет собой величину выходного сигнала нейронаi в момент временип.

Заметим, что как и в описанных ранее сетяхслойа0 не производит вычислений и не имеет памяти; он является только средствомраспределения выходных сигналов слояа2 к элементам матрицы Wt.

2. ВОССТАНОВЛЕНИЕ ЗАПОМНЕННЫХАССОЦИАЦИЙ

Долговременная память (или ассоциации)реализуется в весовых массивах W и Wt. Каждый образ состоит из двухвекторов: вектора A,являющегося выходом слояа1, и вектора B, ассоциированного образа, являющегося выходом слояа2. Длявосстановления ассоциированного образа вектор A или его часть кратковременноустанавливаются на выходах слоя 1. Затем вектор A удаляется и сеть приводится встабильное состояние, вырабатывая ассоциированный вектор B на выходе слояа2. Затем векторB воздействует черезтранспонированную матрицу Wt, воспроизводя воздействие исходноговходного вектора A на выходеслояа1. Каждый такой цикл вызывает уточнение выходных векторов слояа1 и 2 дотех пор, пока не будет достигнута точка стабильности в сети. Эта точка можетбыть рассмотрена как резонансная, так как вектор передается обратно и впередмежду слоями сети, всегда обрабатывая текущие выходные сигналы, но больше неизменяя их. Состояние нейронов представляет собой кратковременную память (КП),так как оно может быстро изменяться при появлении другого входного вектора.Значения коэффициентов весовой матрицы образуют долговременную память и могутизменяться только на более длительном отрезке времени, используя представленныениже в данном разделе методы.

В работе [9] показано, что сетьфункционирует в направлении минимизации функции энергии Ляпунова в основномтаким же образом, как и сети Хопфилда в процессе сходимости (см. гл.а6). Такимобразом, каждый цикл модифицирует систему в направлении энергетическогоминимума, расположение которого определяется значениями весов.

Рис.а7.2. Энергетическая поверхностьдвунаправленной ассоциативной памяти

Этот процесс может быть визуальнопредставлен в форме направленного движения мяча по резиновой ленте, вытянутойнад столом, причем каждому запомненному образу соответствует точка,лвдавленная в направлении поверхности стола. Рис.а7.2 иллюстрирует даннуюаналогию с одним запомненным образом. Данный процесс формирует минимумгравитационной энергии в каждой точке, соответствующей запомненному образу, ссоответствующим искривлением поля притяжения в направлении к данной точке.Свободно движущийся мяч попадает в поле притяжения и в результате будетдвигаться в направлении энергетического минимума, где иостановится.

3. КОДИРОВАНИЕ АССОЦИАЦИЙ

Обычно сеть обучается распознаваниюмножества образов. Обучение производится с использованием обучающего набора,состоящего из пар векторов A и B. Процесс обучения реализуется в формевычислений; это означает, что весовая матрица вычисляется как суммапроизведении всех векторных пар обучающего набора. B символьнойформе

Предположим, что все запомненные образыпредставляют собой двоичные векторы. Это ограничение покажется менее строгим,если вспомнить, что все содержимое Библиотеки Конгресса может быть закодированов один очень длинный двоичный вектор. В работе [11] показана возможностьдостижения более высокой производительности при использовании биполярныхвекторов. При этом векторная компонента, большая чем 0, становится +1, акомпонента, меньшая или равная 0, становится –1.

Предположим, что требуется обучить сеть сцелью запоминания трех пар двоичных векторов, причем векторы Ai имеютразмерность такую же, как и векторы Вi. Надо отметить, что это не являетсянеобходимым условием для работы алгоритма; ассоциации могут быть сформированы имежду векторами различной размерности.

Исходный вектор	Ассоциированный вектор	Бинарная версия
A1 =(1,0,0)	B1 =(0,0,1)	A’1 = (1,–1,–1)	B’1 = (–1,–1,1)
A2 =(0,1,0)	B2 =(0,1,0)	A’1 = (–1,1,–1)	B’1 = (–1,1,–1)
A3 =(0,0,1) Pages:     | 1 |   ...   | 12 | 13 | 14 | 15 | 16 |   ...   | 25 |    Книги по разным темам