Книги по разным темам
Pages: | 1 | ... | 19 | 20 | 21 | 22 | 23 | ... | 25 | Несмотря на эти ограничения, многое былоизучено благодаря блестяще задуманным экспериментам. Например, в [1] описанэксперимент, в котором котята выращивались в визуальном окружении, состоящемтолько из горизонтальных черных и белых полос. Известно, что определенныеобласти коры чувствительны к углу ориентации, поэтому у этих котов не развилисьнейроны, чувствительные к вертикальным полосам. Этот результат наводит намысль, что мозг млекопитающих не является полностью предустановленным даже напримитивном уровне распознавания ориентации линий. Напротив, он постоянносамоорганизуется, основываясь на опыте.
На микроскопическом уровне обнаружено, чтонейроны обладают как воозбуждающими, так и тормозящими синапсами. Первыестремятся к возбуждению нейрона; последние подавляют его возбуждение (см.приложение А). Это наводит на мысль, что мозг адаптируется либо изменениемвоздействия этих синапсов, либо созданием или разрушением синапсов в результатевоздействия окружающей среды. Данное предположение остается пока гипотезой сограниченным физиологическим подтверждением. Однако исследования, проведенные врамках этой гипотезы, привели к созданию цифровых моделей, некоторые из которыхпоказывают замечательные способности к адаптивному распознаваниюобразов.
- КОГНИТРОН
Основываясь на текущих знаниях анатомии ифизиологии мозга, в работе [2] разработан когнитрон, гипотетическая модельсистемы восприятия человека. Компьютерные модели, исследованные в [2],продемонстрировали впечатляющие способности адаптивного распознавания образов,побуждая физиологов исследовать соответствующие механизмы мозга. Это взаимноусиливающее взаимодействие между искусственными нейронными сетями, физиологиейи психологией может оказаться средством, посредством которого будет со временемдостигнуто понимание механизмов мозга.
- Структура
Когнитрон конструируется в виде слоевнейронов, соединенных синапсами. Как показано на рис.а10.1, предсинаптическийнейрон в одном слое связан с постсинаптическим нейроном в следующем слое.Имеются два типа нейронов: возбуждающие узлы, которые стремятся вызватьвозбуждение постсинаптического узла, и тормозящие узлы, которые тормозят этовозбуждение. Возбуждение нейрона определяется взвешенной суммой еговозбуждающих и тормозящих входов, однако в действительности механизм являетсяболее сложным, чем простое суммирование.
Рис.а10.1. Пресинаптические ипостсинаптические нейроны
На рис.а10.2 показано, что каждый нейронсвязан только с нейронами в соседней области, называемой областью связи. Это ограничение областисвязи согласуется с анатомией зрительной коры, в которой редко соединяютсямежду собой нейроны, располагающиеся друг от друга на расстоянии более одногомиллиметра. В рассматриваемой модели нейроны упорядочены в виде слоев сосвязями от одного слоя к следующему. Это также аналогично послойной структурезрительной коры и других частей головного мозга.
Рис.а10.2. Область связейнейрона
- Обучение
Так как когнитрон реализован в видемногослойной сети, возникают сложные проблемы обучения, связанные с выбраннойструктурой. Автор отверг управляемое обучение, как биологическинеправдоподобное, используя взамен этого обучение без учителя. Получаяобучающий набор входных образов, сеть самоорганизуется посредством изменениясилы синаптических связей. При этом отсутствуют предварительно определенныевыходные образы, представляющие требуемую реакцию сети, однако сетьсамонастраивается с целью распознавания входных образов с замечательнойточностью.
Алгоритм обучения когнитрона являетсяконцептуально привлекательным. В заданной области слоя обучается тольконаиболее сильно возбужденный нейрон. Автор сравнивает это с лэлитнымобучением, при котором обучаются только лумные элементы. Те нейроны, которыеуже хорошо обучены, что выражается силой их возбуждения, получат приращениесилы своих синапсов с целью дальнейшего усиления своеговозбуждения.
На рис.а10.3 показано, что области связисоседних узлов значительно перекрываются. Это расточительное дублированиефункций оправдывается взаимной конкуренцией между ближайшими узлами. Даже еслиузлы в начальный момент имеют абсолютно идентичный выход, небольшие отклонениявсегда имеют место; один из узлов всегда будет иметь более сильную реакцию навходной образ, чем соседние. Его сильное возбуждение будет оказыватьсдерживающее воздействие на возбуждение соседних узлов, и только его синапсыбудут усиливаться; синапсы соседних узлов останутся неизменными.
Возбуждающий нейрон. Грубо говоря, выход возбуждающегонейрона в когнитроне определяется отношением его возбуждающих входов ктормозящим входам. Эта необычная функция имеет важные преимущества, какпрактические, так и теоретические.
Рис.а10.3. Область связи с областьюконкуренции
Суммарный возбуждающий вход в нейронвзвешенной суммой входов от возбуждающих предшествующем слое. Аналогичносуммарный вход / является взвешенной суммой входов от всех тормозящих нейронов.В символьном виде
, ,
где ai – вес i-го возбуждающего синапса, ui – выход i-го возбуждающего нейрона, bj – вес j-го торозящего синапса, vj – выход j-го торозящего нейрона.
Заметим, что веса имеют только положительныезначения. Выход нейрона затем вычисляется следующим образом:
OUT = NET, при NET≥0,
OUT = 0, при NET<0.
Предполагая, что NET имеет положительноезначение, это можно записать следующим образом:
Когда тормозящий вход мал (I << 1), OUT может бытьаппроксимировано как
OUT = Е– I,
что соответствует выражению для обычноголинейного порогового элемента (с нулевым порогом).
Алгоритм обучения когнитрона позволяет весамсинапсов возрастать без ограничений. Благодаря отсутствию механизма уменьшениявесов они просто возрастают в процессе обучения. В обычных линейных пороговыхэлементах это привело бы к произвольно большому выходу элемента. В когнитронебольшие возбуждающие и тормозящие входы результируются в ограничивающей формулевида:
, если E>> 1 и I >>1.
В данном случае OUT определяется отношениемвозбуждающих входов к тормозящим входам, а не их разностью. Таким образом,величина OUT ограничивается, если оба входа возрастают в одном и том жедиапазоне X. Предположив,что это так, Е иI можно выразить следующимобразом:
Е = рХ, I = qX, p,q –константы,
и после некоторых преобразований
.
Эта функция возрастает по законуВебера-Фехнера, который часто используется в нейрофизиологии для аппроксимациинелинейных соотношений входа/выхода сенсорных нейронов. При использовании этогосоотношения нейрон когнитрона в точности эмулирует реакцию биологическихнейронов. Это делает его как мощным вычислительным элементом, так и точноймоделью для физиологического моделирования.
Тормозящие нейроны.В когнитроне слой состоит из возбуждающих и тормозящих узлов. Как показано нарис.а10.4, нейрон слояа2 имеет область связи, для которой он имеетсинаптические соединения с набором выходов нейронов в слоеа1. Аналогично вслоеа1 существует тормозящий нейрон, имеющий ту же область связи. Синаптическиевеса тормозящих узлов не изменяются в процессе обучения; их веса заранееустановлены таким образом, что сумма весов в любом из тормозящих нейронов равнаединице. В соответствии с этими ограничениями, выход тормозящего узла INHIBявляется взвешенной суммой его входов, которые в данном случае представляютсобой среднее арифметическое выходов возбуждающих нейронов, к которым онподсоединен. Таким образом,
Рис.а10.4. Слои когнитрона
,
где, ci – возбуждающий вес i.
Процедура обучения. Как объяснялось ранее, весавозбуждающих нейронов изменяются только тогда, когда нейрон возбужден сильнее,чем любой из узлов в области конкуренции. Если это так, изменение в процессеобучения любого из его весов может быть определено следующимобразом:
дai = qcjuj,
где сj – тормозящий вес связи нейронаj в слоеа1 с тормозящимнейроном i, иj – выход нейрона j в слоеа1, аi – возбуждающий вес i, q - нормирующий коэффициентобучения.
Изменение тормозящих весов нейронаi в слоеа2 пропорциональноотношению взвешенной суммы возбуждающих входов к удвоенному тормозящему входу.Вычисления проводятся по формуле
.
Когда возбужденных нейронов в областиконкуренции нет, для изменения весов используются другие выражения. Этонеобходимо, поскольку процесс обучения начинается с нулевыми значениями весов;поэтому первоначально нет возбужденных нейронов ни в одной области конкуренции,и обучение производиться не может. Во всех случаях, когда победителя в областиконкуренции нейронов нет, изменение весов нейронов вычисляется следующимобразом:
Дai = q’cjuj, дbi =q’INHIB,
где q’ – положительный обучающийкоэффициент меньший, чем q.
Приведенная стратегия настройки гарантирует,что узлы с большой реакцией заставляют возбуждающие синапсы, которыми ониуправляют, увеличиваться сильнее, чем тормозящие синапсы. И наоборот, узлы,имеющие малую реакцию, вызывают малое возрастание возбуждающих синапсов, нобольшее.возрастание тормозящих синапсов. Таким образом, если узела1 в слоеа1имеет больший выход, синапс а1 возрастет больше, чем синапсb1. И наоборот, узлы, имеющие малый выход,обеспечат малую величину для приращения аi. Однако другие узлы в области связибудут возбуждаться, тем самым увеличивая сигнал INHIB и значения bi.
В процессе обучения веса каждого узла вслоеа2 настраиваются таким образом, что вместе они составляют шаблон,соответствующий образам, которые часто предъявляются в процессе обучения. Припредъявлении сходного образа шаблон соответствует ему и узел вырабатываетбольшой выходной сигнал. Сильно отличающийся образ вырабатывает малый выход иобычно подавляется конкуренцией.
атеральное торможение. На рис.а10.4 показано, что каждыйнейрон слояа2 получает латеральное торможение от нейронов, расположенных в егообласти конкуренции. Тормозящий нейрон суммирует входы от всех нейронов вобласти конкуренции и вырабатывает сигнал, стремящийся к торможению целевогонейрона. Этот метод является эффектным, но с вычислительной точки зрениямедленным. Он охватывает большую систему с обратной связью, включающую каждыйнейрон в слое; для его стабилизации может потребоваться большое количествовычислительных итераций.
Для ускорения вычислений в работе [2]используется остроумный метод ускоренного латерального торможения (рис.а10.5).Здесь дополнительный узел латерального торможения обрабатывает выход каждоговозбуждающего узла для моделирования требуемого латерального торможения.Сначала он определяет сигнал, равный суммарному тормозящему влиянию в областиконкуренции:
Рис.а10.5. Ускоренное торможение
,
где OUTi – выходi-го нейрона в областиконкуренции, gi – вессвязи от этого нейрона к латерально-тормозящему нейрону; gi выбранытаким образом, что.
Выход тормозящего нейрона OUT’ затем вычисляется следующимобразом:
Благодаря тому что все вычисления, связанныес таким типом латерального торможения, являются нерекурсивными, они могут бытьпроведены за один проход для слоя, тем самым определяя эффект в виде большойэкономии в вычислениях.
Этот метод латерального торможения решает идругую сложную проблему. Предположим, что узел в.слое 2 возбуждается сильно,но возбуждение соседних узлов уменьшается постепенно с увеличением расстояния.При использовании обычного латерального торможения будет обучаться толькоцентральный узел. Другие узлы определяют, что центральный узел в их областиконкуренции имеет более высокий выход. С предлагаемой системой латеральноготорможения такой ситуации случиться не может. Множество узлов может обучатьсяодновременно и процесс обучения является более достоверным.
Рецептивная область. Анализ, проводимый до этого момента,был упрощен рассмотрением только одномерных слоев. В действительности когнитронконструировался как каскад двумерных слоев, причем в данном слое каждый нейронполучает входы от набора нейронов на части двумерного плана, составляющей егообласть связи в предыдущем слое.
С этой точки зрения когнитрон организованподобно зрительной коре человека, представляющей собой трехмерную структуру,состоящую из нескольких различных слоев. Оказывается, что каждый слой мозгареализует различные уровни обобщения; входной слой чувствителен к простымобразам, таким, как линии, и их ориентации в определенных областях визуальнойобласти, в то время как реакция других слоев является более сложной,абстрактной и независимой от позиции образа.
Аналогичные функции реализованы в когнитронепутем моделирования организации зрительной коры. На рис.а10.6 показано, чтонейроны когнитрона в слоеа2 реагируют на определенную небольшую областьвходного слояа1. Нейрон в слоеа3 связан с набором нейронов слояа2, тем самымреагируя косвенно на более широкий набор нейронов слояа1. Подобным образомнейроны в последующих слоях чувствительны к более широким областям входногообраза до тех пор, пока в выходном слое каждый нейрон не станет реагировать навсе входное поле.
Если область связи нейронов имеет постоянныйразмер во всех слоях, требуется большое количество слоев для перекрытия всеговходного поля выходными нейронами. Количество слоев может быть уменьшено путемрасширения области связи в последующих слоях. К сожалению, результатом этогоможет явиться настолько большое перекрытие областей связи, что нейронывыходного слоя будут иметь одинаковую реакцию. Для решения этой проблемы можетбыть использовано расширение области конкуренции. Так как в данной областиконкуренции может возбудиться только один узел, влияние малой разницы вреакциях нейронов выходного слоя усиливается.
Рис.а10.6. Области связейкогнитрона
В альтернативном варианте связи с предыдущимслоем могут быть распределены вероятностно с большинством синаптических связейв ограниченной области и с более длинными соединениями, встречающимися намногореже. Это отражает вероятностное распределение нейронов, обнаруженное в мозге.В когнитроне это позволяет каждому нейрону выходного слоя реагировать на полноевходное поле при наличии ограниченного количества слоев.
Pages: | 1 | ... | 19 | 20 | 21 | 22 | 23 | ... | 25 | Книги по разным темам