Состояние и перспективы развития нейрокомпьютерных систем
Дипломная работа - Компьютеры, программирование
Другие дипломы по предмету Компьютеры, программирование
?сы других нейронов. Общий вид нейрона представлен на рис 1.
нейронная сеть нейрокомпьютерная россия
Рис.1 Искусственный нейрон - простейший элемент искусственной нейронной сетиj - сигнал, поступающий от нейрона j;k - скалярное произведение вектора входных сигналов и вектора весов;k - функция возбуждения;k - выходной сигнал нейрона
Каждый синапс характеризуется величиной синаптической связи или весом wi, который по своему физическому смыслу эквивалентен электрической проводимости.
Текущее состояние нейрона определяется как взвешенная сумма его входов:
(1)
где x - вход нейрона, а w - соответствующий этому входу вес.
Выход нейрона есть функция его состояния, т.е. Нелинейная функция f (s) называется активационной, сжимающей функцией или функцией возбуждения нейрона. Основные разновидности активационных функций, применяемых в нейронных сетях, представлены на рис.2.
Рис.2 Активационная функция
а) пороговая; b) полулинейная; c) сигмоидальная
В качестве активационной функции часто используется сигмоидальная (s-образная или логистическая) функция, показанная на рис.2. (приложение Б). Эта функция математически выражается по формуле
(2)
При уменьшении сигмоидальная функция становится более пологой, в пределе при =0 вырождаясь в горизонтальную линию на уровне 0,5; при увеличении сигмоидальная функция приближается по внешнему виду к функции единичного скачка с порогом T в точке x=0. Из выражения для сигмоидальной функции видно, что выходное значение нейрона лежит в диапазоне [0,1]. Одно из полезных свойств сигмоидальной функции - простое выражение для ее производной, применение которого будет рассмотрено в дальнейшем:
(3)
Следует отметить, что сигмоидальная функция дифференцируема на всей оси абiисс, что используется в некоторых алгоритмах обучения. Кроме того, сигмоидальная функция обладает свойством усиливать малые сигналы лучше, чем большие, тем самым предотвращая насыщение от больших сигналов, так как они соответствуют областям аргументов, где сигмоидальная функция имеет пологий наклон.
Выбор структуры нейронной сети осуществляется в соответствии с особенностями и сложностью задачи. Для решения некоторых отдельных типов задач уже существуют оптимальные, на сегодняшний день конфигурации, описанные. Если же задача не может быть сведена ни к одному из известных типов, разработчику приходится решать сложную проблему синтеза новой конфигурации.
Теоретически число слоев и число нейронов в каждом слое нейронной сети может быть произвольным, однако фактически оно ограничено ресурсами компьютера или специализированной микросхемы, на которых обычно реализуется нейронная сеть.
Нейроны делятся на три типа (рис.3) в соответствии с функциями, выполняемыми ими в сети. Входные нейроны (нейроны входного слоя) принимают данные из внешней среды и определенным образом распределяют их далее по сети. На промежуточные нейроны (нейроны скрытого слоя) возлагается роль основных участников процесса решения задачи. Выходные же нейроны (нейроны выходного слоя) передают результаты работы сети во внешнюю среду (потребителю) .
Рис.3 Типы нейронов в зависимости от их функций в сети
В зависимости от механизма обработки получаемых данных можно выделить целый ряд математических моделей нейронов (рис.4). Существует две группы моделей нейронов, которые принадлежат, соответственно, двум типам сетей: классическим и нечетким. Каждая из моделей нейронов обладает рядом присущих ей свойств, однако имеются и общие черты, к которым можно отнести наличие входного и выходного сигналов, а также блока их обработки.
Для решения конкретной задачи существует ряд наиболее предпочтительных моделей нейронов. Модель нейрона МакКаллока-Питса, сигмоидальный нейрон и нейрон типа "адалайн" имеют схожие структуры и отличаются лишь видами функций активации (реакции нейрона на входящий сигнал). Вышеприведенные модели нейронов могут обучаться только с учителем, то есть требуют наличия входного и выходного векторов (значений). Так как функция активации нейрона МакКаллока-Питса дискретна (выходной сигнал может принимать только два значения - 0 или 1), то невозможно проследить за изменением значения выхода. Достижение необходимого результата в некоторых задачах может оказаться невозможным. В этом случае более предпочтительной может являться сигмоидальная модель нейрона. Модели нейронов типа "инстар" и "оутстар Гроссберга" дополняют друг друга и отличаются от вышеуказанных трех типов нейронов тем, что могут обучаться и без учителя (имея только входной вектор) .
Нейроны типа WTA (от англ. - победитель получает всё) чаще всего используются в задачах классификации и распознавания данных и образов. Они, как и модели нейронов Гроссберга, в процессе обучения также не нуждаются в учителе. Однако существенным недостатком нейронов этого типа является значительно возрастающая погрешность распознавания данных вследствие наличия мертвых нейронов, которые не смогли выжить в конкурентной борьбе. Модель нейрона Хебба схожа с моделью нейрона обычной формы (вход - блок обработки - выход). Может обучаться как с учителем, так и без него. Особенностью данной модели является то, что вес связи нейрона изменяется пропорционально произведению его входного и выходного сигналов.
Рис.4 Виды математических моделей нейронов
&nb