Компьютерное моделирование биологического нейрона
Дипломная работа - Компьютеры, программирование
Другие дипломы по предмету Компьютеры, программирование
?ендритов нейрода или независимым.
Если К примем общим, то любой из входов способен возбудить нейрод, если же K различен для всех входов, то нейрод также может быть активирован любым входом, но с меньшей вероятностью, но тогда нейрод сможет узнать какой из нейродов предыдущего слоя его возбудил и опираясь на эту информацию, скорректировать весовой коэффициент своего дендрита (произвести обучение) и придать соответствующую длительность выходного сигнала. В общем случае каждой комбинации этих сумм будет присвоена собственная длительность выходного сигнала [3,4,5].
С помощью изменения длительности (dt) выходного сигнала происходит кодирование степени важности сигнала. Так, если сигнал важен, то его длительность приближается к T (где T-такт нейрода), а значит, пороговый коэффициент следующего нейрода может быть превышен с большей вероятностью.
Этот метод обучения многослойной нейронной называется обобщенным дельта-правилом или правилом error backpropagation (обратного распространения ошибки) [4].
Однако, если дельта-правило реализовывалось только для программно моделированных нейронов, то в мы применяем его на практике, с точки зрения аппаратно-программной реализации.
Метод был предложен в 1986 г. Румельхартом, Макклеландом и Вильямсом [7,14].
Обучение сети начинается с предъявления образа и вычисления соответствующей реакции. Сравнение с желаемой реакцией дает возможность изменять веса связей таким образом, чтобы сеть на следующем шаге могла выдавать более точный результат. Обучающее правило обеспечивает настройку весов связей. Информация о выходах сети является исходной для нейронов предыдущих слоев. Эти нейроны могут настраивать веса своих связей для уменьшения погрешности на следующем шаге.
Когда мы предъявляем ненастроенной сети входной образ, она будет выдавать некоторый случайный выход. Функция ошибки (7) представляет собой разность между текущим выходом сети и идеальным выходом, который необходимо получить.
Для успешного обучения сети требуется приблизить выход сети к желаемому выходу, т. е. последовательно уменьшать величину функции ошибки. Это достигается настройкой межнейронных связей. Обобщенное дельта-правило (13) обучает сеть путем вычисления функции ошибки для заданного входа с последующим ее обратным распространением от каждого слоя к предыдущему. Каждый нейрон в сети имеет свои веса, которые настраиваются, чтобы уменьшить величину функции ошибки. Для нейронов выходного слоя известны их фактические и желаемые значения выходов. Поэтому настройка весов связей для таких нейронов является относительно простой.
Однако для нейронов предыдущих слоев настройка не столь очевидна. Интуитивно ясно, что нейроны внутренних слоев, которые связаны с выходами, имеющими большую погрешность, должны изменять свои веса значительно сильнее, чем нейроны, соединенные с почти корректными выходами.
Другими словами, веса данного нейрона должны изменяться прямо пропорционально ошибке тех нейронов, с которыми данный нейрон связан. Вот почему обратное распространение этих ошибок через сеть позволяет корректно настраивать веса связей между всеми слоями. В этом случае величина функции ошибки уменьшается и сеть обучается.
Основные соотношения метода обратного распространения ошибки [3], [4] получены при следующих обозначениях:
Ep - величина функции ошибки для образа P;
tjp - желаемый выход нейрона j для образа P;
opj - действительный выход нейрона j для образа P;
wjp - вес связи между i-м и j-м нейронами.
Пусть функция ошибки (2) прямо пропорциональна квадрату разности между действительным и желательным выходами для всей обучающей выборки, тогда ее математическая запись в компьютерной модели имеет вид:
. (17)
Множитель вводится для упрощения операции дифференцирования.
Активация каждого нейрона j для образа P записывается в виде взвешенной суммы:
.(18)
Выход каждого нейрона j является значением пороговой функции , которая активизируется взвешенной суммой. В многослойной сети это обычно сигмовидная функция (8), хотя может использоваться любая непрерывно дифференцируемая монотонная функция:
.(19)
Можно записать по правилу цепочки.
. (20)
Для второго сомножителя в (4), используя (5), получаем:
.(21)
Внос каждого входного признака можно оценить по его влиянию на среднее значение выходной величины. Пусть внешний выход модели нейросети зависит от нескольких факторов: y = f(a1x1, a2x2, ..., aixi...).
Выберем некоторый фактор (аіхі). Для всех реализаций обучающего множества определим значения выходной величины (11) при наличии и отсутствии этого фактора.
Вычислим дисперсию, вызванную отсутствием фактора (аіхі).
.(21)
Определяем интервал DaI= 2Sai, куда не должна попадать оценка коэффициентов (аі). При малых коэффициентах данный фактор изымается.
Некоторые из параметров, принимаемые во внимание, имеют незначительное влияние на формирование выходов и могут быть отброшены. В качестве показателя взаимозависимости между системой входных величин X=(X1, X2, ..., Xn), і - выходных величин Y , можно выбрать коэффициент парной корреляции (12) (например входной переменной X1 и выходного значения Y).
.(22)
.(23)
где N - число реализаций соединений неродов.
Значение k < 0,6 считают пороговым. Например, при нахождении коэффициентов корреляции между выходом и входами можно опреде