Книги по разным темам Pages:     | 1 | 2 | 3 | 4 | 5 |   ...   | 25 |
      1. БИОЛОГИЧЕСКИЙ ПРОТОТИП

Развитие искусственных нейронных сетейвдохновляется биологией. То есть рассматривая сетевые конфигурации и алгоритмы,исследователи мыслят их в терминах организации мозговой деятельности. Но наэтом аналогия может и закончиться. Наши знания о работе мозга столь ограничены,что мало бы нашлось руководящих ориентиров для тех, кто стал бы ему подражать.Поэтому разработчикам сетей приходится выходить за пределы современныхбиологических знаний в поисках структур, способных выполнять полезные функции.Во многих случаях это приводит к необходимости отказа от биологическогоправдоподобия, мозг становится просто метафорой, и создаются сети, невозможныев живой материи или требующие неправдоподобно больших допущений об анатомии ифункционировании мозга.

Несмотря на то что связь с биологией слаба изачастую несущественна, искусственные нейронные сети продолжают сравниваться смозгом. Их функционирование часто напоминает человеческое познание, поэтомутрудно избежать этой аналогии. К сожалению, такие сравнения неплодотворны исоздают неоправданные ожидания, неизбежно ведущие к разочарованию.Исследовательский энтузиазм, основанный на ложных надеждах, может испариться,столкнувшись с суровой действительностью, как это уже однажды было вшестидесятые годы, и многообещающая область снова придет в упадок, если небудет соблюдаться необходимая сдержанность.

Несмотря на сделанные предупреждения,полезно все же знать кое-что о нервной системе млекопитающих, так как онауспешно решает задачи, к выполнению которых лишь стремятся искусственныесистемы. Последующее обсуждение весьма кратко. Приложение А содержит болееобширное (но ни в коем случае не полное) рассмотрение нервной системымлекопитающих для тех, кто хочет узнать больше об этом восхитительномпредмете.

Нервная система человека, построенная изэлементов, называемых нейронами, имеет ошеломляющую сложность. Около1011 нейронов участвуют впримерно 1015 передающихсвязях, имеющих длину метр и более. Каждый нейрон обладает многими качествами,общими с другими элементами тела, но его уникальной способностью являетсяприем, обработка и передача электрохимических сигналов по нервным путям,которые образуют коммуникационную систему мозга.

Рис. 1.1. Биологический нейрон

На рис.а1.1 показана структура пары типичныхбиологических нейронов. Дендриты идут от тела нервной клетки к другим нейронам,где они принимают сигналы в точках соединения, называемых синапсами. Принятыесинапсом входные сигналы подводятся к телу нейрона. Здесь они суммируются,причем одни входы стремятся возбудить нейрон, другие – воспрепятствовать еговозбуждению. Когда суммарное возбуждение в теле нейрона превышает некоторыйпорог, нейрон возбуждается, посылая по аксону сигнал другим нейронам. У этойосновной функциональной схемы много усложнений и исключений, тем не менеебольшинство искусственных нейронных сетей моделируют лишь эти простыесвойства.

      1. ИСКУССТВЕННЫЙ НЕЙРОН

Искусственный нейрон имитирует в первомприближении свойства биологического нейрона. На вход искусственного нейронапоступает некоторое множество сигналов, каждый из которых является выходомдругого нейрона. Каждый вход умножается на соответствующий вес, аналогичныйсинаптической силе, и все произведения суммируются, определяя уровень активациинейрона. На рис.а1.2 представлена модель, реализующая эту идею. Хотя сетевыепарадигмы весьма разнообразны, в основе почти всех их лежит эта конфигурация.Здесь множество входных сигналов, обозначенных x1,x2,Е,xn, поступает наискусственный нейрон. Эти входные сигналы, в совокупности обозначаемые векторомX, соответствуют сигналам,приходящим в синапсы биологического нейрона. Каждый сигнал умножается насоответствующий вес w1, w2,Е, wn, и поступает на суммирующий блок,обозначенный У. Каждый вессоответствует силе одной биологической синаптической связи. (Множество весовв совокупности обозначается вектором W.) Суммирующий блок, соответствующий телу биологического элемента,складывает взвешенные входы алгебраически, создавая выход, который мы будемназывать NET. В векторных обозначениях это может быть компактно записаноследующим образом:

NET = XW.

Рис.а1.2. Искусственный нейрон

        1. Активационныефункции

Сигнал NET далее, как правило, преобразуетсяактивационной функцией F идает выходной нейронный сигнал OUT. Активационная функция может быть обычнойлинейной функцией

OUT =K(NET),

где К – постоянная, пороговой функции

OUT = 1, если NET > T,
OUT = 0 в остальныхслучаях,

где Т – некоторая постоянная пороговая величина, или же функцией, болееточно моделирующей нелинейную передаточную характеристику биологическогонейрона и представляющей нейронной сети большие возможности.

Рис.а1.3. Искусственный нейрон сактивационной функцией

На рис.а1.3 блок, обозначенный F, принимает сигнал NET и выдает сигналOUT. Если блок F сужаетдиапазон изменения величины NET так, что при любых значениях NET значения OUTпринадлежат некоторому конечному интервалу, то F называется сжимающей функцией. В качествелсжимающей функции часто используется логистическая или сигмоидальная(S-образная) функция, показанная на рис.а1.4а. Эта функция математическивыражается как F(x) = 1/(1 +е-x). Такимобразом,

.

По аналогии с электронными системамиактивационную функцию можно считать нелинейной усилительной характеристикойискусственного нейрона. Коэффициент усиления вычисляется как отношениеприращения величины OUT к вызвавшему его небольшому приращению величины NET. Онвыражается наклоном кривой при определенном уровне возбуждения и изменяется отмалых значений при больших отрицательных возбуждениях (кривая почтигоризонтальна) до максимального значения при нулевом возбуждении и сновауменьшается, когда возбуждение становится большим положительным. Гроссберг(1973) обнаружил, что подобная нелинейная характеристика решает поставленную имдилемму шумового насыщения. Каким образом одна и та же сеть может обрабатыватькак слабые, так и сильные сигналы Слабые сигналы нуждаются в большом сетевомусилении, чтобы дать пригодный к использованию выходной сигнал. Однакоусилительные каскады с большими коэффициентами усиления могут привести кнасыщению выхода шумами усилителей (случайными флуктуациями), которыеприсутствуют в любой физически реализованной сети. Сильные входные сигналы всвою очередь также будут приводить к насыщению усилительных каскадов, исключаявозможность полезного использования выхода. Центральная область логистическойфункции, имеющая большой коэффициент усиления, решает проблему обработки слабыхсигналов, в то время как области с падающим усилением на положительном иотрицательном концах подходят для больших возбуждений. Таким образом, нейронфункционирует с большим усилением в широком диапазоне уровня входногосигнала.

.

Рис.а1.4а. Сигмоидальная логистическаяфункция

Другой широко используемой активационнойфункцией является гиперболический тангенс. По форме она сходна с логистическойфункцией и часто используется биологами в качестве математической моделиактивации нервной клетки. В качестве активационной функции искусственнойнейронной сети она записывается следующим образом:

OUT = th(x).

Рис.а1.4б. Функция гиперболическоготангенса

Подобно логистической функциигиперболический тангенс является S-образной функцией, но он симметриченотносительно начала координат, и в точке NET = 0 значение выходного сигнала OUTравно нулю (см. рис.а1.4б). В отличие от логистической функции гиперболическийтангенс принимает значения различных знаков, что оказывается выгодным для рядасетей (см. гл.а3).

Рассмотренная простая модель искусственногонейрона игнорирует многие свойства своего биологического двойника. Например,она не принимает во внимание задержки во времени, которые воздействуют надинамику системы. Входные сигналы сразу же порождают выходной сигнал. И, чтоболее важно, она не учитывает воздействий функции частотной модуляции илисинхронизирующей функции биологического нейрона, которые ряд исследователейсчитают решающими.

Несмотря на эти ограничения, сети,построенные из этих нейронов, обнаруживают свойства, сильно напоминающиебиологическую систему. Только время и исследования смогут ответить на вопрос,являются ли подобные совпадения случайными или следствием того, что в моделиверно схвачены важнейшие черты биологического нейрона.

      1. ОДНОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕСЕТИ

Рис.а1.5. Однослойная нейроннаясеть

Хотя один нейрон и способен выполнятьпростейшие процедуры распознавания, сила нейронных вычислений проистекает отсоединений нейронов в сетях. Простейшая сеть состоит из группы нейронов,образующих слой, как показано в правой части рис.а1.5. Отметим, чтовершины-круги слева служат лишь для распределения входных сигналов. Они невыполняют каких- либо вычислений, и поэтому не будут считаться слоем. По этойпричине они обозначены кругами, чтобы отличать их от вычисляющих нейронов,обозначенных квадратами. Каждый элемент из множества входов Х отдельным весом соединен с каждымискусственным нейроном. А каждый нейрон выдает взвешенную сумму входов в сеть.В искусственных и биологических сетях многие соединения могут отсутствовать,все соединения показаны в целях общности. Могут иметь место также соединениямежду выходами и входами элементов в слое. Такие конфигурации рассматриваются вгл.а6.

Удобно считать веса элементами матрицыW. Матрица имеетт строк и п столбцов, где m – число входов, а n – число нейронов. Например,w2,3 – этовес, связывающий третий вход со вторым нейроном. Таким образом, вычислениевыходного вектора N,компонентами которого являются выходы OUT нейронов, сводится к матричномуумножению N = XW, где N и Х – векторы-строки.

      1. МНОГОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕСЕТИ

Более крупные и сложные нейронные сетиобладают, как правило, и большими вычислительными возможностями. Хотя созданысети всех конфигураций, какие только можно себе представить, послойнаяорганизация нейронов копирует слоистые структуры определенных отделов мозга.Оказалось, что такие многослойные сети обладают большими возможностями, чемоднослойные (см. гл.а2), и в последние годы были разработаны алгоритмы для ихобучения.

Рис.а1.6. Двухслойная нейроннаясеть

Многослойные сети могут образовыватьсякаскадами слоев. Выход одного слоя является входом для последующего слоя.Подобная сеть показана на рис.а1.6 и снова изображена со всемисоединениями.

        1. Нелинейнаяактивационная функция

Многослойные сети не могут привести кувеличению вычислительной мощности по сравнению с однослойной сетью лишь в томслучае, если активационная функция между слоями будет нелинейной. Вычислениевыхода слоя заключается в умножении входного вектора на первую весовую матрицус последующим умножением (если отсутствует нелинейная активационная функция)результирующего вектора на вторую весовую матрицу.

(XW1)W2

Так как умножение матриц ассоциативно, то

X(W1W2).

Это показывает, что двухслойная линейнаясеть эквивалентна одному слою с весовой матрицей, равной произведению двухвесовых матриц. Следовательно, любая многослойная линейная сеть может бытьзаменена эквивалентной однослойной сетью. В гл.а2 показано, что однослойныесети весьма ограниченны по своим вычислительным возможностям. Таким образом,для расширения возможностей сетей по сравнению с однослойной сетью необходиманелинейная активационная функция.

        1. Сети с обратнымисвязями

У сетей, рассмотренных до сих пор, не былообратных связей, т.ае. соединений, идущих от выходов некоторого слоя к входамэтого же слоя или предшествующих слоев. Этот специальный класс сетей,называемых сетями без обратных связей или сетями прямого распространения,представляет интерес и широко используется. Сети более общего вида, имеющиесоединения от выходов к входам, называются сетями с обратными связями. У сетейбез обратных связей нет памяти, их выход полностью определяется текущимивходами и значениями весов. В некоторых конфигурациях сетей с обратными связямипредыдущие значения выходов возвращаются на входы; выход, следовательно,определяется как текущим входом, так и предыдущими выходами. По этой причинесети с обратными связями могут обладать свойствами, сходными с кратковременнойчеловеческой памятью, сетевые выходы частично зависят от предыдущихвходов.

      1. ТЕРМИНОЛОГИЯ, ОБОЗНАЧЕНИЯ И СХЕМАТИЧЕСКОЕИЗОБРАЖЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ

К сожалению, для искусственных нейронныхсетей еще нет опубликованных стандартов и устоявшихся терминов, обозначений играфических представлений. Порой идентичные сетевые парадигмы, представленныеразличными авторами, покажутся далекими друг от друга. В этой книге выбранынаиболее широко используемые термины.

        1. Терминология

Многие авторы избегают термина нейрон дляобозначения искусственного нейрона, считая его слишком грубой моделью своегобиологического прототипа. В этой книге термины нейрон, клетка, лэлементиспользуются взаимозаменяемо для обозначения лискусственного нейрона каккраткие и саморазъясняющие.

        1. Дифференциальныеуравнения или разностные уравнения

Алгоритмы обучения, как и вообщеискусственные нейронные сети, могут быть представлены как в дифференциальной,так и в конечно-разностной форме. При использовании дифференциальных уравненийпредполагают, что процессы непрерывны и осуществляются подобно большойаналоговой сети. Для биологической системы, рассматриваемой на микроскопическомуровне, это не так. Активационный уровень биологического нейрона определяетсясредней скоростью, с которой он посылает дискретные потенциальные импульсы посвоему аксону. Средняя скорость обычно рассматривается как аналоговая величина,но важно не забывать о действительном положении вещей.

Если моделировать искусственную нейроннуюсеть на аналоговом компьютере, то весьма желательно использовать представлениес помощью дифференциальных уравнений. Однако сегодня большинство работвыполняется на цифровых компьютерах, что заставляет отдавать предпочтениеконечно-разностной форме как наиболее легко программируемой. По этой причине напротяжении всей книги используется конечно-разностноепредставление.

Pages:     | 1 | 2 | 3 | 4 | 5 |   ...   | 25 |    Книги по разным темам