Книги по разным темам
Pages: | 1 | ... | 13 | 14 | 15 | 16 | 17 | ... | 58 | выход нейрона в его физиологическом - процессы возбуждения и торможения;
понимании, а именно как величину - зависимость временной суммации потенциала действия. Во втором случае, сигналов от длины дендрита;
инейным преобразованием мы - зависимость паттернов разрядов на масштабируем выходной сигнал в выходе нейрона от его размера;
требуемый диапазон величин.
- моделирование синапса с химической и На рис. 3 представлена зависимость электрической передачей сигналов;
выходной частоты моделей нейронов от - эффект пресинаптического входной частоты при возбуждении по торможения;
одному синапсу.
- поведение пейсмекерных нейронов;
- нейрон с несколькими стабильными состояниями мембранного потенциала.
Эти эффекты воспроизводятся как индивидуально, так и комплексно.
Результаты На рис. 2 представлена типичная Рис. 3. ЧЧХ нейронов в зависимости от размера реакция модели нейрона на возбуждающий нейрона и наличия в модели эффекта импульс. На графике внутриклеточного пресинаптического (ПСТ) торможения.
потенциала (2) можно наблюдать типичную область деполяризации мембраны нейрона, Количество участков мембраны, предваряющую формирование потенциала сигналы с которых суммируются на входе действия, зону гиперполяризации после генератора потенциала действия, генерации импульса и остаточную изменялось от 1 до 4. Можно видеть, что в деполяризацию мембраны по окончании отсутствии пресинаптического торможения генерируемого паттерна. Длительный наблюдается нарастание выходной частоты период деполяризации, вызывающий нейрона до порога насыщения, разряд пачкой импульсов обусловлен, воопределяемого размером нейрона. В случае первых, временным процессом, наличия пресинаптического торможения, у моделирующим выделение и распад модели существует оптимальная частота медиатора в синаптической щели, а вовозбуждения, при превышении которой, 4-Й МЕЖДУНАРОДНЫЙ СИМПОЗИУМ НЕЙРОИНФОРМАТИКА И НЕЙРОКОМПЬЮТЕРЫ дальнейшая частота генерации падает до структуру, присущую живым нуля. организмам.
Следует подчеркнуть, что при Список литературы детерминированной структуре связей в нейронной сети преобразование потоков 1. Hugo de Garis, Chen Shuo, Ben Goertzel, Lian импульсов носит адаптивный характер, так Ruiting. A world survey of artificial brain projects, Part как зависимость входы-выход каждого I: Large-scale brain simulations. - Neurocomputing нейрона будет зависеть от количества (2010), p. 3Ц29.
2. Ben Goertzel, Ruiting Lian, Itamar Arel, Hugo de возбуждаемых в каждый момент входов и Garis, Shuo Chen. A world survey of artificial brain от места их расположения на дендритах и projects, Part II: Biologically inspired cognitive соме клетки. Модель нейрона architectures. - Neurocomputing 74 (2010) p. 30Ц49.
предназначена для конструирования сети, 3. Мак-Каллок У.С., Питтс В. Логическое функционирующей в замкнутом контуре исчисление идей, относящихся к нервной активности // В сб.: Автоматы под ред. К.Э.
управления очувствленными Шеннона и Дж. Маккарти. - М.: ИЛ., 1956. - с. 363 - робототехническими комплексами.
384.
4. Hodgkin A.L., Huxley A.F. A quantitative Заключение description of membrane current and its application to conduction and excitation in nerve. - J. Physiology.
В работе рассмотрены подходы к 1952, 117, pp. 500-544.
моделированию нейронов различного типа 5. Экклс Дж. Физиология синапсов. Москва: Мир.
1966. 395 с.
и механизмов их взаимодействия в составе 6. Романов С.П. Структурное обоснование функции сети как множества участков единой нервной системы как автоматического регулятора. - мембраны нервной ткани, на основе Нейрокомпьютеры: разработка, применение. 2006, системы дифференциальных уравнений, № 7, с. 54-63.
описывающей процессы преобразования 7. Романов С.П., Бахшиев А.В. Математическая модель биологического нейрона. - Моделирование сигналов в естественном нейроне.
неравновесных систем - 2000: Материалы III Предложенное описание можно Всероссийского семинара, Красноярск, 20-рассматривать в духе моделирования октября 2000 г. - Красноярск: ИП - КГТУ, 2000.
модульных нейронных сетей, имеющих 307нми с.
выраженную морфологию совокупности 8. Бахшиев А.В. Компьютерное моделирование естественных нейронных сетей. - Материалы XIV нейронных модулей и связей [12].
научно-технической конференции УЭкстремальная Проведенные исследования показали, робототехникаФ СПб.: Астерион, 2004.
что разработанные модели нейронов 9. Романов С.П. Модель нейрона. - Некоторые адекватно представляют многие процессы проблемы биологической кибернетики. - Л.: Наука, преобразования информации, свойственные 1972, с. 276-282.
10. Романов С.П. Моделирование свойств ионного естественным прототипам.
канала и исследование его роли в формировании Разработанные модели и программные импульсной активности нейрона. - средства могут иметь следующие Нейрофизиология, 1989, Т. 21, №3, с. 379-389.
перспективы применения:
11. Бахшиев А. В., Романов С. П. Математическое - создание интерфейсов между моделирование процессов преобразования импульсных потоков в биологическом нейроне // техническими системами и нервной Нейрокомпьютеры: разработка, применение. 2009, системой живых организмов;
№3, с. 71-80.
- разработка адаптивных систем 12. Дорогов А.Ю., Алексеев А.А. Категории управления устойчивых к изменению ядерных нейронных сетей // Всерос. науч.-техн.
конф.Нейроинформатика-99 г. Москва 20-характеристик объекта управления;
января 1999 г. Сб. науч. тр. Часть 1.- М.: 1999.-С. 55- разработка систем управления, 64.
воспроизводящих замкнутую цепь обработки информации от сенсоров к эффекторам через нейронную Материалы XVI Международной конференции по нейрокибернетике МНОГОСЛОЙНЫЙ ПЕРСЕПТРОН С ВАРИАТИВНЫМИ ПОТЕНЦИАЛАМИ АКТИВАЦИИ НЕЙРОНОВ И.А. Борило1, Е.Е. Слядников1,Томский государственный университет;
ТФ ИВТ СО РАН boriloilya@yandex.ru The basic idea is to calculate function activation only представляет работа [10], в которой for part of activation potential in layer. By this предложен алгоритм приближенного modification, reduction of multilayer perceptron расчета экспоненты, который позволяет computational complexity can be expected. Learning of значительно уменьшить вычислительные this modified multilayer perceptron is described.
Finally, approximation ability of this modified затраты на ее расчет.
multilayer perceptron is discussed.
Цель данной работы - снижение вычислительных затрат на обучение МП.
Введение Для этого предложен подход, идея которого состоит в том, что в слое МП В настоящее время искусственные значения функций активации нейронные сети (ИНС) находят широкое рассчитываются только для части применение для решения задач обработки потенциалов активации, выбранных по и анализа данных. Среди существующих заданному критерию.
моделей ИНС широкое распространение получил многослойный персептрон (МП), Вариативный потенциал активации обучаемый методом обратного нейрона распространения ошибки[1,2]. Данный вид нейронной сети применяется для решения Распространение сигнала в МП задач классификации с учителем, происходить между слоями регрессии, нелинейного сжатия данных[2].
последовательно. На вход слоя поступает Важное достоинство МП - возможность входной вектор x. Далее в соответствии с аппроксимировать с заданной точность (1) рассчитывается вектор потенциалов любую функцию многих переменных, активации.
заданную на компакте [3].
n При этом МП обладает существенным k = x (1) wkj j j=недостатком - значительными вычислительными затратами на обучение где k - потенциал активации k -го МП. Для уменьшения вычислительных нейрона; x1, x2,K, xn - компоненты затрат существует множество способов:
входного вектора; wk1, wk 2,K, wkn нормализация обучающей выборки[1,4], синоптические веса k -го нейрона; x0 - задание оптимальной структуры МП[1,2], начальная инициализация синоптических постоянная компонента равная 1, весов МП [5,6,7] и выбор эффективного соответствующая порогу k -го нейрона;
режима обучения МП [7,8].
wk 0 - синоптический вес, определяющий Важным элементом МП, с точки зрения величину порога k -го нейрона; n уменьшения вычислительных затрат, размерность входного вектора. Затем является функция активации нейрона.
производиться расчет значений функций Наиболее часто в роли функции активации активации нейронов, формирующих нейрона выступает сигмоидальная функция выходной вектор слоя y, соответствующих и гиперболический тангенс [1,2]. При каждому потенциалу активации, в расчете значений данных функций соответствии с (2).
необходимо проводить расчет значений экспоненты, поэтому большой интерес 4-Й МЕЖДУНАРОДНЫЙ СИМПОЗИУМ НЕЙРОИНФОРМАТИКА И НЕЙРОКОМПЬЮТЕРЫ n группе. Такой потенциал активации будем yk = (k ) = x (2) wkj j называть действующими потенциалом j= активации. Нейроны в таком слое будем где yk - k -я компонента выходного называть нейронами с вариативным потенциалом активации (НВПА). Затраты вектора слоя; () - функция активации на расчет значений функций активации для нейрона. Аналогично расчет выходных слоя, состоящего из НВПА, снижаются в m векторов производится для всех слоев.
раз по сравнению со слоем, состоящего из Для снижения вычислительных затрат на обычных нейронов, если в каждом из слоев обучение был предложен следующий одинаковое количество синоптических подход: потенциалы активации в одном весов.
слое объединены в группы, в каждой из Данный критерий выбора действующих которых находится m потенциалов потенциалов активации обладает двумя активации. Каждая такая группа достоинствами:
потенциалов активации соответствует 1. При использовании слоев, одной компоненте выходного вектора слоя.
состоящих из НВПА, МП остается В результате одному нейрону будут непрерывной функцией.
соответствовать несколько векторов 2. Вычислительные затраты на выбор синоптических весов. Такие вектора будем t действующего потенциала обозначать wk, где t - номер вектора активации незначительны.
синоптических весов; k - номер нейрона слоя которому соответствует вектор Обучение синоптических весов.
Рассмотрим распространение сигнала в Для обучения МП используется таком слое. На вход слоя поступает алгоритм обратного распространения входной вектор x. Далее в соответствии с ошибки. При использовании алгоритма (3) рассчитывается матрицу потенциалов обратного распространения ошибки активации, строки которой различают два прохода, выполняемых в соответствуют потенциалам активации процессе обучения: прямой и обратный одного нейрона.
проход. Во время прямого прохода n t t рассчитываются выходные векторы слоев.
k = x (3) wkj j Во время обратного прохода j=t рассчитываются локальные градиенты где k - t -й потенциал активации k -го нейронов. Локальный градиент и выходные t t t нейрона; wk1, wk 2,K, wkn - синоптические векторы слоев используются для веса t -го вектора, соответствующего k -му определения изменений синоптических весов [1,2].
нейрону; wk 0 - синоптический вес, Если в МП есть слои с НВПА, то при определяющий величину порога для t -го прямом проходе для таких слоев кроме потенциала активации, соответствующего выходных векторов слоев необходимо k -му нейрона. Расчет значений функций будет лотметить потенциалы активации в активации нейронов производится в группах, которые выбраны действующими соответствии с (4).
потенциалами активации.
yk = (maxU(k )) (4) На сигнал ошибки выходных нейронов где k - вектор потенциалов активации МП будут влиять только действующие k -го нейрона; maxU() - функция, потенциалы активации, поэтому остальные потенциалы активации в слоях с НВПА возвращающая значение компоненты можно не учитывать. После выполнения вектора аргумента, с наибольшим прямого прохода при обратном проходе значением.
слои с НВПА можно рассматривать как В результате значение функции слои из обычных нейронов, у которых активации рассчитывается только для потенциалами активации являются одного потенциала активации в каждой Материалы XVI Международной конференции по нейрокибернетике действующие потенциалы активации точность любую функцию многих данного слоя, в этом случае обратный переменных, заданную на компакте.
проход происходит так, как в случае МП Выводы без НВПА.
Для случая online режима обучения МП Для предложенной модели МП с НВПА после обратного прохода в слоях с НВПА показано:
будут корректироваться только 1. Для обучения МП с НВПА можно синоптические веса действующих использовать методы, используемые потенциалов активации. при обучении МП.
В результате значения синоптических 2. МП с НВПА можно использовать весов потенциалов активации в слое с для аппроксимации любой функции НВПА будут определять не всей выборкой, многих переменных с заданной а некоторым ее подмножеством, поэтому точностью на компакте.
можно предположить, что данные потенциалы активации будут лучше Список литературы учитывать особенности данного множества 1. Хайкин С. Нейронные сети. Полный курс. М.:
примеров по сравнению с МП без НВПА.
Вильямс, 2006. 1104 c.
2. Осовский С. Нейронные сети для обработки Аппроксимация функции информации. М.: ФиС, 2003. 344 с.
3. Kreinovich V.Y. Arbitrary nonlinearity is sufficient Для МП доказана теорема о to represent all functions by neural networks: A theorem // Neural Networks, 1991, Vol.4. pp. 381-383.
возможности с помощью МП 4. LeCun Y. Efficient Learning and Second-order аппроксимировать с заданной точность Methods // A Tutorial at NIPS 93, Denver, 1993.
юбую функцию многих переменных, 5. Karayiannis N.B. Accelerating the training of feedзаданную на компакте [3].
forward neural networks using generalized Hebbian Рассмотрим аппроксимацию функции, rules for initializing the internal representations // IEEE Proc. ICNN, Orlando, 1994. pp. 1242-1247.
заданной на компакте, с помощью МП с 6. Thimm G., Fiesler E. Neural network initialization // НВПА. Если рассмотреть одну группу From Natural to Artificial Neural Computation / Eds. N.
потенциалов активации из слоя с НВПА, Mira, J. Mira, F. Sandoval. - Malaga: IWANN, 1995.
множество входных векторов данного слоя pp. 533-542.
будет ограниченным множеством, т.к. МП 7. Denoeux J., Lengalle R. Initializing back propagation networks with prototypes // Neural аппроксимирует функцию, заданную на Networks, 1993, Vol. 6. pp. 351 - 363.
Pages: | 1 | ... | 13 | 14 | 15 | 16 | 17 | ... | 58 | Книги по разным темам