Книги по разным темам Pages:     | 1 |   ...   | 14 | 15 | 16 | 17 | 18 |   ...   | 25 |

Этот вывод определенно являетсяпреждевременным. ДАП имеет много преимуществ: она совместима с аналоговымисхемами и оптическими системами; для нее быстро сходятся как процесс обучениятак, и процесс восстановления информации; она имеет простую и интуитивнопривлекательную форму функционирования. В связи с быстрым развитием теориимогут быть найдены методы, объясняющие поведение ДАП и разрешающие еепроблемы.

1. итература

12. CohenаM., GrossbergаS. 1983. Absolute stability of global patternformation and parallel memory storage by competitive neural networks. IEETransactions on Systems, Man, and Cybernetics SMC-13:815-926.
13. GrossbergаS. 1973. Contour enhancement, short term memory, andconstancies in reverberating neural networks. Studies in Applied Mathematics52:217-57.
14. GrossbergаS. 1976. Adaptive pattern>
15. GrossbergаS. 1978. A theory of human memory: Self-organization andperformance of sensory-motor codes, maps, and plans. In Progress in theoreticalbiology, vol.а5, ed. R.аRosen and F.аShell. New lork: AcademicPress.
16. GrossbergаS. 1980. How does the brain build a cognitive codePsychological Review 1:1-51.
17. GrossbergаS. 1982. Studies of mind and brain. Boston: ReidelPress.
18. HainesаK., Hecht-NielsenаR. 1988. А ВАМ with increased informationstorage capacity. Proceedings of the IEEE International Conference on NeuralNetworks, vol.а1, pp.а181-190. San Diego, CA:SOS Printing.
19. HebbаD.аO. 1949. The organization of behavior. New lork:Wiley.
20. KoskoаB. (1987a). Bi-directional associative memories. IEEETransactions on Systems, Man and Cybernetics 18(1):49-60.
21. KoskoаB. (1987b). Competitive adaptive bi-directional associativememories. In Proceedings of the IEEE First International Conference on NeuralNetworks, eds. M.Caudill and C.Butler, vol.а2, pp.а759-66. San Diego, CA:SOSPrinting.
22. KoskoаB. (1987с). Constructing an associative memory. Byte,September, pp.а137-44.
23. KoskoаВ., GuestаС. 1987. Optical bi-directional associativememories. Sosiety for Photo-optical and Instrumentation Engineers Proceedings:Image Understanding 758:11-18.
24. McElieceаR.аJ., RosnerаE.аG. RodemichаE.аR., Venka-teshаS.аS.1987. The capacity of Hopfield associative memory. IEEE Transactions onInformation Theory IT-33:461-82.

18. Глава 8.
    Адаптивная резонансная теория

Мозг человека выполняет трудную задачуобработки непрерывного потока сенсорной информации, получаемой из окружающегомира. Из потока тривиальной информации он должен выделить жизненно важнуюинформацию, обработать ее и, возможно, зарегистрировать в долговременнойпамяти. Понимание процесса человеческой памяти представляет собой серьезнуюпроблему; новые образы запоминаются в такой форме, что ранее запомненные немодифицируются и не забываются. Это создает дилемму: каким образом памятьостается пластичной, способной к восприятию новых образов, и в то же времясохраняет стабильность, гарантирующую, что образы не уничтожатся и неразрушатся в процессе функционирования

Традиционные искусственные нейронные сетиоказались не в состоянии решить проблему стабильности-пластичности. Очень частообучение новому образу уничтожает или изменяет результаты предшествующегообучения. В некоторых случаях это не существенно. Если имеется толькофиксированный набор обучающих векторов, они могут предъявляться при обучениициклически. В сетях с обратным распространением, например, обучающие векторыподаются на вход сети последовательно до тех пор, пока сеть не обучится всемувходному набору. Если, однако, полностью обученная сеть должна запомнить новыйобучающий вектор, он может изменить веса настолько, что потребуется полноепереобучение сети.

В реальной ситуации сеть будет подвергатьсяпостоянно изменяющимся воздействиям; она может никогда не увидеть один и тот жеобучающий вектор дважды. При таких обстоятельствах сеть часто не будетобучаться; она будет непрерывно изменять свои веса, не достигаяудовлетворительных результатов.

Более того, в работе [1] приведены примерысети, в которой только четыре обучающих вектора, предъявляемых циклически,заставляют веса сети изменяться непрерывно, никогда не сходясь. Такая временнаянестабильность явилась одним из главных факторов, заставивших Гроссберга и егосотрудников исследовать радикально отличные конфигурации. Адаптивнаярезонансная теория (APT) является одним из результатов исследования этойпроблемы [2,4].

Сети и алгоритмы APT сохраняют пластичность,необходимую для изучения новых образов, в то же время предотвращая изменениеранее запомненных образов. Эта способность стимулировала большой интерес к APT,но многие исследователи нашли теорию трудной для понимания. Математическоеописание APT является сложным, но основные идеи и принципы реализациидостаточно просты для понимания. Мы сконцентрируемся далее на общем описанииAPT; математически более подготовленные читатели смогут найти изобилие теории влитературе, список которой приведен в конце главы. Нашей целью являетсяобеспечение достаточно конкретной информацией, чтобы читатель мог понятьосновные идеи и возможности, а также провести компьютерное моделирование сцелью исследования характеристик этого важного вида сетей.

1. АРХИТЕКТУРА APT

Адаптивная резонансная теория включает двепарадигмы, каждая из которых определяется формой входных данных и способом ихобработки. АРТ-1 разработана для обработки двоичных входных векторов, в товремя как АРТ-2, более позднее обобщение АРТ-1, может классифицировать какдвоичные, так и непрерывные векторы. В данной работе рассматривается толькоАРТ-1. Читателя, интересующегося АРТ-2, можно отослать к работе [3] для полногоизучения этого важного направления. Для краткости АРТ-1 в дальнейшем будемобозначать как APT.

1. ОписаниеAPT

Сеть APT представляет собой векторныйклассификатор. Входной вектор классифицируется в зависимости от того, на какойиз множества ранее запомненных образов он похож. Свое классификационное решениесеть APT выражает в форме возбуждения одного из нейронов распознающего слоя.Если входной вектор не соответствует ни одному из запомненных образов,создается новая категория посредством запоминания образа, идентичного новомувходному вектору. Если определено, что входной вектор похож на один из ранеезапомненных векторов с точки зрения определенного критерия сходства,запомненный вектор будет изменяться (обучаться) под воздействием новоговходного вектора таким образом, чтобы стать более похожим на этот входнойвектор.

Запомненный образ не будет изменяться, еслитекущий входной вектор не окажется достаточно похожим на него. Таким образомрешается дилемма стабильности-пластичности. Новый образ может создаватьдополнительные классификационные категории, однако новый входной образ не можетзаставить измениться существующую память.

2. Упрощеннаяархитектура APT

На рис.а8.1 показана упрощенная конфигурациясети APT, представленная в виде пяти функциональных модулей. Она включает дваслоя нейронов, так называемых слой сравнения и слой распознавания.Приемника1, Приемника2 и Сброс обеспечивают управляющие функции, необходимыедля обучения и классификации.

Перед рассмотрением вопросовфункционирования сети в целом необходимо рассмотреть отдельно функции модулей;далее обсуждаются функции каждого из них.

Слой сравнения.Слой сравнения получает двоичный входной вектор Х ипервоначально пропускает его неизмененным для формирования выходного вектораC. На более поздней фазе враспознающем слое вырабатывается двоичный вектор R, модифицирующий вектор C, как описано ниже.

Каждый нейрон в слое сравнения (рис.а8.2)получает три двоичных входа (0 или I): (1) компонента хi входноговектора X; (2) сигналобратной связи Ri – взвешенная сумма выходовраспознающего слоя; (3) вход от Приемникаа1 (один и тот же сигнал подается навсе нейроны этого слоя).

Рис.а8.1. Упрощенная сеть АРТ

Рис.а8.2. Упрощенный слонсравнения

Чтобы получить на выходе нейрона единичноезначение, как минимум два из трех его входов должны равняться единице; впротивном случае его выход будет нулевым. Таким образом реализуется правилодвух третей, описанное в [З]. Первоначально выходной сигнал G1 Приемникаа1установлен в единицу, обеспечивая один из необходимых для возбуждения нейроноввходов, а все компоненты вектора R установлены в 0; следовательно, в этот момент вектор C идентичен двоичному входному векторуX.

Слой распознавания.Слой распознавания осуществляет классификацию входных векторов. Каждый нейрон вслое распознавания имеет соответствующий вектор весов Bj Только одиннейрон с весовым вектором, наиболее соответствующим входному вектору,возбуждается; все остальные нейроны заторможены.

Как показано на рис.а8.3, нейрон враспознающем •слоеимеет, максимальную реакцию,если вектор C, являющийсявыходом слоя сравнения, соответствует набору его весов, следовательно, весапредставляют запомненный образ или экземпляр для категории входных векторов.Эти веса являются действительными числами, а не двоичными величинами. Двоичнаяверсия этого образа также запоминается в соответствующем наборе весов слоясравнения (рис.а8.2); этот набор состоит из весов связей, соединяющихопределенные нейроны слоя распознавания, один вес на каждый нейрон слоясравнения.

В процессе функционирования каждый нейронслоя распознавания вычисляет свертку вектора собственных весов и входноговектора C. Нейрон, имеющийвеса, наиболее близкие вектору C, будет иметь самый большой выход, тем самым выигрывая соревнованиеи одновременно затормаживая все остальные нейроны в слое.

Как показано на рис.а8.4, нейроны внутрислоя распознавания взаимно соединены в латерально-тормозящую сеть. В простейшемслучае (единственном, рассмотренном в данной работе) предусматривается, чтотолько один нейрон в слое возбуждается в каждый момент времени (т.ае. тольконейрон с наивысшим уровнем активации будет иметь единичный выход; все остальныенейроны будут иметь нулевой выход). Эта конкуренция реализуется введениемсвязей с отрицательными весами lij с выхода каждого нейрона ri на входыостальных нейронов. Таким образом, если нейрон имеет большой выход, он тормозитвсе остальные нейроны в слое. Кроме того, каждый нейрон имеет связь сположительным весом со своего выхода на свой собственный вход. Если нейронимеет единичный выходной уровень, эта обратная связь стремится усилить иподдержать его.

Рис.а8.3. Упрощенный слойраспознавания

Приемник 2.G2, выход Приемникаа2, равен единице, если входнойвектор X имеет хотя бы однуединичную компоненту. Более точно, G2 является логическимаИЛИ от компонентавектора X.

Приемник 1.Как и сигнал G2, выходной сигнал G1 Приемникаа1равена1, если хотя бы одна компонента двоичного входного вектора X равна единице; однако если хотя бы однакомпонента вектора R равнаединице, G1 устанавливается в нуль. Таблица, определяющая этисоотношения:

Рис.а8.4. Слой распознавания с латеральнымторможением

ИЛИ откомпонента вектора X	ИЛИ откомпонента вектора R	G1
0	0	0
1	0	1
1	1	0
0	1	0

Сброс.Модуль сброса измеряет сходство между векторамиX и C. Если они отличаются сильнее, чемтребует параметр сходства, вырабатывается сигнал сброса возбужденного нейрона вслое распознавания.

В процессе функционирования модуль сбросавычисляет сходство как отношение количества единиц в векторе C к их количеству в векторе C. Если это отношение ниже значенияпараметра сходства, вырабатывается сигнал сброса.

3. Функционированиесети APT в процессе классификации

Процесс классификации в APT состоит из трехосновных фаз: распознавание, сравнение и поиск.

Фаза распознавания. В начальный момент времени входнойвектор отсутствует на входе сети; следовательно, все компоненты входноговектора X можнорассматривать как нулевые. Тем самым сигнал G2 устанавливается в 0 и,следовательно, в нуль устанавливаются выходы всех нейронов слоя распознавания.Поскольку все нейроны слоя распознавания начинают работу в одинаковомсостоянии, они имеют равные шансы выиграть в последующейконкуренции.

Затем на вход сети подается входной векторX, который должен бытьклассифицирован. Этот вектор должен иметь одну или более компонент, отличных отнуля, в результате чего и G1, и G2 становятся равными единице. Этолподкачивает нейроны слоя сравнения, обеспечивая один из двух единичныхвходов, необходимых для возбуждения нейронов в соответствии с правилом двухтретей, тем самым позволяя нейрону возбуждаться, если соответствующаякомпонента входного вектора X равна единице. Таким образом, в течение данной фазы векторS в точности дублируетвектор X.

Далее для каждого нейрона в слоераспознавания вычисляется свертка вектора его весов Вj и вектора C (рис.а8.4). Нейрон с максимальнымзначением свертки имеет веса, наилучшим образом соответствующие входномувектору. Он выигрывает конкуренцию и возбуждается, одновременно затормаживаявсе остальные нейроны этого слоя. Таким образом, единственная компонентаrjвектора R (рис.а8.1)становится равной единице, а все остальные компоненты становятся равныминулю.

В результате, сеть APT запоминает образы ввесах нейронов слоя распознавания, один нейрон для каждой категорииклассификации. Нейрон слоя распознавания, веса которого наилучшим образомсоответствуют входному вектору, возбуждается, его выход устанавливается вединичное значение, а выходы остальных нейронов этого слоя устанавливаются внуль.

Pages:     | 1 |   ...   | 14 | 15 | 16 | 17 | 18 |   ...   | 25 |    Книги по разным темам