Книги по разным темам
Pages: | 1 | ... | 15 | 16 | 17 | 18 | 19 | ... | 25 | Фаза сравнения.Единственный возбужденный в слое распознавания нейронвозвращает единицу обратно в слой сравнения в виде своего выходного сигналаrj. Эта единственная единица может быть визуально представлена в виделвеерного выхода, подающегося через отдельную связь с весом tij на каждыйнейрон в слое сравнения, обеспечивая каждый нейрон сигналом рj, равнымвеличинеtij (нулю или единице) (рис.а8.5).
Рис.а8.5. Путь сигнала отдельноговозбужденного нейрона в слое распознавания
Алгоритмы инициализации и обучения построенытаким образом, что каждый весовой вектор Тj имеетдвоичные значения весов; кроме того, каждый весовой вектор Вjпредставляет собой масштабированную версиюсоответствующего вектора Тj. Этоозначает, что все компоненты P (вектора возбуждения слоя сравнения) также являются двоичнымивеличинами.
Так как вектор R не является больше нулевым, сигнал G1устанавливается в нуль. Таким образом, в соответствии с правилом двух третей,возбудиться могут только нейроны, получающие на входе одновременно единицы отвходного вектора X и вектораP.
Другими словами, обратная связь отраспознающего слоя действует таким образом, чтобы установить компонентыC в нуль в случае, есливходной вектор не соответствует входному образу, т.ае. если X и P не имеют совпадающихкомпонент.
Если имеются существенные различия междуX и P (малое количество совпадающих компонентвекторов), несколько нейронов на фазе сравнения будут возбуждаться иC будет содержать многонулей,. в то время как Xсодержит единицы. Это означает, что возвращенный вектор P не является искомым и возбужденныенейроны в слое распознавания должны быть заторможены. Это торможениепроизводится блоком сброса (рис.а8.1), который сравнивает входной векторX и вектор C и вырабатывает сигнал сброса, еслистепень сходства этих векторов меньше некоторого уровня. Влияние сигнала сбросазаключается в установке выхода возбужденного нейрона в нуль, отключая его навремя текущей классификации.
Фаза поиска.Если не выработан сигнал сброса, сходство являетсяадекватным, и процесс классификации завершается. В противном случае другиезапомненные образы должны быть исследованы с целью поиска лучшего соответствия.При этом торможение возбужденного нейрона в распознающем слое приводит кустановке всех компонент вектора R в 0, G1 устанавливается в 1 и входной вектор X опять прикладывается в качествеC. В результате другойнейрон выигрывает соревнование в слое распознавания и другой запомненный образP возвращается в слойсравнения. Если P несоответствует X,возбужденный нейрон в слое распознавания снова тормозится. Этот процессповторяется до тех пор, пока не встретится одно из двух событий:
- Найден запомненный образ, сходство которого с вектором X выше уровня параметра сходства, т.ае.S>ρ. Если этопроисходит, проводится обучающий цикл, в процессе которого модифицируются весавекторов Tj и Bj, связанных с возбужденным нейроном вслое распознавания.
- Все запомненные образы проверены, определено, что они несоответствуют входному вектору, и все нейроны слоя распознавания заторможены. Вэтом случае предварительно не распределенный нейрон в распознающем слоевыделяется этому образу и его весовые векторы Bj иTjустанавливаются соответствующими новому входному образу.
Проблема производительности. Описанная сеть должна производить последовательный поиск средивсех запомненных образов. В аналоговых реализациях это будет происходить оченьбыстро; однако при моделировании на обычных цифровых компьютерах этот процессможет оказаться очень длительным. Если же сеть APT реализуется на параллельныхпроцессорах, все свертки на распознающем уровне могут вычисляться одновременно.В этом случае поиск может быть очень быстрым.
Время, необходимое для стабилизации сети слатеральным торможением, может быть длительным при моделировании напоследовательных цифровых компьютерах. Чтобы выбрать победителя в процесселатерального торможения, все нейроны в слое должны быть вовлечены водновременные вычисления и передачу. Это может потребовать проведения большогообъема вычислений перед достижением сходимости. Латеральные тормозящие сети,аналогичные используемым в неокогнитронах, могут существенно сократить этовремя (гл.а10).
- РЕАЛИЗАЦИЯ APT
- Обзор
APT, как это можно увидеть из литературы,представляет собой нечто большее, чем философию, но намного менее конкретное,чем программа для компьютера. Это привело к наличию широкого круга реализации,сохраняющих идеи APT, но сильно отличающихся в деталях. Рассматриваемая далеереализация основана на работе [5] с определенными изменениями для обеспечениясовместимости с работой [2] и моделями, рассмотренными в данной работе. Этареализация может рассматриваться в качестве типовой, но необходимо иметь ввиду, что другие успешные реализации имеют большие отличия от нее.
- Функционированиесетей APT
Рассмотрим более детально пять фаз процессафункционирования APT: инициализацию, распознавание, сравнение, поиск иобучение.
Инициализация.Перед началом процесса обучения сети все весовыевекторы Bj и Tj, а также параметр сходства ρ, должны быть установлены вначальные значения.
Веса векторов Bj всеинициализируются в одинаковые малые значения. Согласно [2], эти значения должныудовлетворять условию
для всех i, j, (8.1)
где т –количество компонент входного вектора, L –константа, большаяа1 (обычно Lа=а2).
Эта величина является критической; если онаслишком большая, сеть может распределить все нейроны распознающего слоя одномувходному вектору.
Веса векторов Tj всеинициализируются в единичные значения, так что
tij =1 для всехj,i. (8.2)
Эти значения также являются критическими; в[2] показано, что слишком маленькие веса приводят к отсутствию соответствия вслое сравнения и отсутствию обучения.
Параметр сходства ρ устанавливается в диапазоне от 0 до1 в зависимости от требуемой степени сходства между запомненным образом ивходным вектором. При высоких значениях ρ сеть относит к одному классу толькоочень слабо отличающиеся образы. С другой стороны, малое значение ρ заставляет сеть группироватьобразы, которые имеют слабое сходство между собой. Может оказаться желательнойвозможность изменять коэффициент сходства на протяжении процесса обучения,обеспечивая только грубую классификацию в начале процесса обучения, и затемпостепенно увеличивая коэффициент сходства для выработки точной классификации вконце процесса обучения.
Распознавание.Появление на входе сети входного вектора X инициализирует фазу распознавания. Таккак вначале выходной вектор слоя распознавания отсутствует, сигнал G1устанавливается в 1 функцией ИЛИ вектора X, обеспечивая все нейроны слоя сравненияодним из двух входов, необходимых для их возбуждения (как требует правило двухтретей). В результате любая компонента вектора X, равная единице, обеспечивает второйединичный вход, тем самым заставляя соответствующий нейрон слоя сравнениявозбуждаться и устанавливая его выход в единицу. Таким образом, в этот моментвремени вектор С идентиченвектору X.
Как обсуждалось ранее, распознаваниереализуется вычислением свертки для каждого нейрона слоя распознавания,определяемой следующим выражением:
NETj =(Bj •C), (8.3)
где Вj – весовой вектор, соответствующийнейрону j в слоераспознавания; С– выходной векторнейронов слоя сравнения; в этот момент С равно X;NETj – возбуждение нейрона j в слое распознавания.
F являетсяпороговой функцией, определяемой следующим образом:
OUTj = 1, еслиNETj>T, (8.4)
OUTj = 0 впротивном случае,
где Т представляет собой порог.
Принято, что латеральное торможениесуществует, но игнорируется здесь для сохранения простоты выражении. Онообеспечивает тот факт, что только нейрон с максимальным значением NET будетиметь выход, равный единице; все остальные нейроны будут иметь нулевой выход.Можно рассмотреть системы, в которых в распознающем слое возбуждаются нескольконейронов в каждый момент времени, однако это выходит за рамки даннойработы.
Сравнение.На этой фазе сигнал обратной связи от слояраспознавания устанавливает G1 в нуль; правило двух третей позволяетвозбуждаться только тем нейронам, которые имеют равные единице соответствующиекомпоненты векторов Р иX.
Блок сброса сравнивает вектор С и входной вектор X, вырабатывая сигнал сброса, когда ихсходство S ниже порога сходства. Вычисление этого сходства упрощается темобстоятельством, что оба вектора являются двоичными (все элементы либоа0,либоа1). Следующая процедура проводит требуемое вычислениесходства:
- Вычислить D– количество единиц ввекторе X.
- Вычислить N– количество единиц ввекторе С.
Затем вычислить сходство S следующимобразом:
S=N/D. (8.5)
Например, примем, что
Х = 1 0 1 1 1 0 1 D = 5
С = 0 0 1 1 1 0 1 N = 4
S=N/D=0,8
S может изменятьсяот 1 (наилучшее соответствие) до 0 (наихудшее соответствие).
Заметим, что правило двух третей делаетС логическим произведениемвходного вектора Х и вектораР. Однако Р равен Тj, весовомувектору выигравшего соревнование нейрона. Таким образом, D может быть определено как количествоединиц в логическом произведении векторов Тj иX.
Поиск.Если сходство.S выигравшего нейрона превышаетпараметр сходства, поиск не требуется. Однако если сеть предварительно былаобучена, появление на входе вектора, не идентичного ни одному из предъявленныхранее, может возбудить в слое распознавания нейрон со сходством ниже требуемогоуровня. В соответствии с алгоритмом обучения возможно, что другой нейрон в слоераспознавания будет обеспечивать более хорошее соответствие, превышая требуемыйуровень сходства несмотря на то, что свертка между его весовым вектором ивходным вектором может иметь меньшее значение. Пример такой ситуации показанниже.
Если сходство ниже требуемого уровня,запомненные образы могут быть просмотрены с целью поиска, наиболеесоответствующего входному вектору образа. Если такой образ отсутствует,вводится новый несвязанный нейрон, который в дальнейшем будет обучен. Дляинициализации поиска сигнал сброса тормозит возбужденный нейрон в слоераспознавания на время проведения поиска, сигнал G1 устанавливается в единицу идругой нейрон в слое распознавания выигрывает соревнование. Его запомненныйобраз затем проверяется на сходство и процесс повторяется до тех пор, покаконкуренцию не выиграет нейрон из слоя распознавания со сходством, большимтребуемого уровня (успешный поиск), либо пока все связанные нейроны не будутпроверены и заторможены (неудачный поиск).
Неудачный поиск будет автоматическизавершаться на несвязанном нейроне, так как его веса все равны единице, своемуначальному значению. Поэтому правило двух третей приведет к идентичностивектора С входному векторуX, сходство S примет значение единицы и критерийсходства будет удовлетворен.
Обучение.Обучение представляет собой процесс, в котором наборвходных векторов подается последовательно на вход сети и веса сети изменяютсяпри этом таким образом, чтобы сходные векторы активизировали соответствующиенейроны. Заметим, что это – неуправляемое обучение, нет учителя и нет целевого вектора,определяющего требуемый ответ.
В работе [2] различают два вида обучения:медленное и быстрое. При медленном обучении входной вектор предъявляетсянастолько кратковременно, что веса сети не имеют достаточного времени длядостижения своих ассимптотических значений в результате одного предъявления. Вэтом случае значения весов будут определяться скорее статистическимихарактеристиками входных векторов, чем характеристиками какого-то одноговходного вектора. Динамика сети в процессе медленного обучения описываетсядифференциальными уравнениями.
Быстрое обучение является специальнымслучаем медленного обучения, когда входной вектор прикладывается на достаточнодлительный промежуток времени, чтобы позволить весам приблизиться к ихокончательным значениям. В этом случае процесс обучения описывается толькоалгебраическими выражениями. Кроме того, компоненты весовых векторовТjпринимают двоичные значения, в отличие от непрерывного диапазона значений,требуемого в случае быстрого обучения. В данной работе рассматривается толькобыстрое обучение, интересующиеся читатели могут найти превосходное описаниеболее общего случая медленного обучения в работе [2].
Рассмотренный далее обучающий алгоритмиспользуется как в случае успешного, так и в случае неуспешногопоиска.
Пусть вектор весов Вj (связанный свозбужденным нейроном jраспознающего слоя) равен нормализованной величине вектора С. В [2] эти веса вычисляются следующимобразом:
(8.6)
где сi – i-я компонента выходного вектора слоясравнения; j – номер выигравшего нейрона в слоераспознавания; bij – вес связи, соединяющей нейронi в слое сравнения снейроном j в слоераспознавания; L– константа > 1(обычно 2).
Компоненты вектора весов Тj, связанногос новым запомненным вектором, изменяются таким образом, что они становятсяравны соответствующим двоичным величинам вектора С:
tij =сi для всех i, (8.7)
где tij является весом связи между выигравшимнейроном j в слоераспознавания и нейроном i вслое сравнения.
- ПРИМЕР ОБУЧЕНИЯ СЕТИ APT
В общих чертах сеть обучается посредствомизменения весов таким образом, что предъявление сети входного векторазаставляет сеть активизировать нейроны в слое распознавания, связанные ссходным запомненным вектором. Кроме этого, обучение проводится в форме, неразрушающей запомненные ранее образы, предотвращая тем самым временнуюнестабильность. Эта задача управляется на уровне выбора критерия сходства.Новый входной образ (который сеть не видела раньше) не будет соответствоватьзапомненным образам с точки зрения параметра сходства, тем самым формируя новыйзапоминаемый образ. Входной образ, в достаточной степени соответствующий одномуиз запомненных образов, не будет формировать нового экземпляра, он просто будетмодифицировать тот, на который он похож. Таким образом при соответствующемвыборе критерия сходства предотвращается запоминание ранее изученных образов ивременная нестабильность.
Рис.а8.6. Процесс обучения APT
На рис.а8.6 показан типичный сеанс обучениясети APT. Буквы показаны состоящими из маленьких квадратов, каждая букваразмерностью 8x8. Каждыйквадрат в левой части представляет компоненту вектора Х с единичным значением, не показанныеквадраты являются компонентами с нулевыми значениями. Буквы справа представляютзапомненные образы, каждый является набором величин компонент вектораТj.
Pages: | 1 | ... | 15 | 16 | 17 | 18 | 19 | ... | 25 | Книги по разным темам