Geum.ru

В. И. Горбаченко пензенский государственный педагогический университет им. В. Г. Белинского ynev@mail ru Решение

Вид материалаРешение
Подобный материал:

ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 3

Е.В. ЯНИЧКИНА, В.И. ГОРБАЧЕНКО

Пензенский государственный педагогический университет им. В.Г. Белинского

ynev@mail.ru


РЕШЕНИЕ ЭЛЛИПТИЧЕСКИХ ДИФФЕРЕНЦИАЛЬНЫХ

УРАВНЕНИЙ В ЧАСТНЫХ ПРОИЗВОДНЫХ

С ИСПОЛЬЗОВАНИЕМ РАДИАЛЬНО-БАЗИСНЫХ

НЕЙРОННЫХ СЕТЕЙ1


Аннотация

В работе рассматривается применения радиально-базисных нейронных сетей для решения дифференциальных уравнений в частных производных. Нейронная сеть выступает аппроксиматором неизвестного решения уравнения. Основное внимание уделяется анализу алгоритмов решения уравнений как типовых процедур работы сети. Выведены формулы для градиентного алгоритма обучения сети при решении эллиптических дифференциальных уравнений в частных производных и использовании мультиквадриков в качестве базисных функций. Теоретические результаты подтверждены экспериментальными исследованиями.


Эффективность применения нейронных сетей для решения дифференциальных уравнений в частных производных (ДУЧП) основана на двух свойствах. Первым свойством является совпадение логического базиса нейронной сети с логическим базисом численных методов решения дифференциальных уравнений в частных производных, что позволяет структурно реализовать методы решения систем разностных уравнений, аппроксимирующих ДУЧП и обеспечить высокую степень параллелизма. Наиболее исследовано в этом направлении применение клеточных нейронных сетей [1]. Вторым свойством является способность нейронной сети хорошо аппроксиматоровать функции. Это позволяет реализовать с помощью нейронных сетей приближенные методы решения ДУЧП, например, метод Галеркина [2].

В настоящее время большой интерес вызывают методы решения ДУЧП с применением радиально-базисных функций (RBF) [3]. Эти методы могут быть эффективно реализованы на радиально-базисных нейронных сетях (RBFNN). В [4] описаны общие принципы применения RBFNN для решения ДУЧП. Некоторые практические подходы к использованию RBFNN показаны в работах [5, 6].

Целью данной работы является анализ алгоритмов решения ДУЧП на RBFNN как типовых процедур работы сети.

Радиально-базисная нейронная сеть – это сеть с двухслойной структурой, первый слой выполняет нелинейное отображение, реализуемое нейронами с базисными радиальными функциями, выходной слой линеен.

Рассмотрим работу RBFNN при решении ДУЧП. На вход сети подаются координаты точек области (точек коллокации) , n-размерность пространства. Радиальная функция каждого нейрона характеризуется своими параметрами: центром и шириной , которые уточняются в процессе обучения. Каждый нейрон радиально-базисного слоя выполняет нелинейное преобразование , аргументом которого является расстояние от точки до соответствующего центра . Роль выходного слоя сводится к взвешенному суммированию сигналов, поступающих от нейронов скрытого слоя . На выходе получаем значение искомой функции в точке . Обучение сети сводится к нахождению неизвестных параметров .

Для создания оптимальной сети можно использовать различные виды RBF, наиболее часто используемыми являются мультиквадрик (MQ) , и гауссиан где – определенная пользователем константа.

Продемонстрируем работу сети на примере решения двумерного уравнения Пуассона 

, 

, 

где – единичная внешняя нормаль; – оператор градиента; и  – границы области, такие, что и ; и – известные функции .

Выбирая в качестве радиально-базисной функции MQ, определяемую как , рассматривают RBF-сеть как аппроксиматор функции:

, 

где – число радиально-базисных функций (скрытых нейронов).

Радиально-базисная сеть аппроксимирует производные функции . Из  производные функции рассчитываются следующим образом

,

. 

Отсюда .

Для нахождения , определяем функционал ошибки как сумму квадратов невязок, получаемых при подстановке  и производных  в уравнение  и в граничные условия 



где , , и , – некоторые фиксированные дискретные точки.

Для обучения сети используем градиентный алгоритм обучения [6], минимизирующий функционал путем настройки весов , центров и ширины :

, ,

где – скорости (коэффициенты) обучения. Процесс уточнения параметров продолжается до достижения определенной погрешности. Получены формулы для вычисления градиентов для случая, когда в качестве функции активации используется MQ.

Рассмотренный алгоритм экспериментально исследовался при решении следующей задачи:





Для решения использовалась нейронная сеть, состоящая из 25 нейронов, с функциями активации типа MQ. Обучение сети происходило с оптимизацией всех трех параметров (весов, ширины, центров), контроль решения производится в 100 точках равномерно расположенных на всей области по сетке , с шагом 0,3. Коэффициенты обучения для весов порядка , для ширины и центров RBF порядка .

Первоначально нейроны располагались равномерно в узлах сетки , с шагом 0,6. На рис. 1 показано изменение расположения центров RBF, произошедшее в процессе обучения.





Рис. 1. Расположение центров RBF


В процессе решения находится значение функции в некотором наборе точек, подаваемых на вход нейронной сети (рис.3). После обучения возможно найти решение в любой точке области, подставив ее координаты в выражение , на рис. 2 значения функции вычислены в 900 точках.

При решении дифференциальных уравнений в частных производных возникает вопрос о расстановке – центров RBF. Местоположение точек коллокации может отличаться от местоположения центров RBF, для регулярной области удобно располагать центры в узлах сетки, или распределять случайным образом. Один из вариантов – расположение основного количества нейронов на границе области, и некоторого количества – внутри и вне области. Вариант корректировки расположения центров во время обучения сети дает лучшие результаты.

Вопрос о количестве нейронов можно решать экспериментально, либо производить постепенное наращивание сети (неоднократно вставляя узел в той точке области, компонент функционала ошибки которой наибольший). Лучше использовать RBF сети с различными типами функций активации нейронов. Следует указать отсутствие математической теории, обеспечивающей выбор типа RBF при добавлении нового узла. Надлежащий выбор таких функций требует некоторого навыка и опыта пользователя. При этом следует в максимальной степени учитывать особенности данной задачи, моделирующей конкретный физический процесс.





Рис. 2. Значение искомой функции с шагом 0,3 и с шагом 0,1


Как вариант рассматривался подход с нахождением весов нейронов выходного слоя с помощью метода разложения по собственным значениям, метод сингулярного разложения [7,8]. В процессе решения мы получаем систему линейных уравнений с прямоугольной матрицей

,

откуда вектор весов может быть определен псевдоинверсией матрицы ,

,

.

В вычислительной практике псевдоинверсия рассчитывается с применением декомпозиции SVD, в соответствии с которой

.

Матрицы и ортогональны, – псевдодиагональная матрица.

Этот подход реализовался с использованием встроенных функций SVD и SVDS пакета Matlab. Нужно заметить, что данный подход дает некоторое преимущество для матриц достаточно невысокой размерности, применительно к рассмотренному примеру при решении задачи в области (рис. 3), для матриц высокой размерности, для решения той же задачи в области , лучшие результаты достигнуты с применением градиентного метода нахождения весов.





Рис. 3. Изменение функционала ошибки в процессе обучения

с применением метода SVD и градиентного алгоритма


Достоинством применения радиально-базисных нейронных сетей является возможность эффективной реализации не только на специальных параллельных вычислительных структурах, но и на компьютерах традиционной архитектуры.


Список литературы


1. Горбаченко В. И. Нейрокомпьютеры в решении краевых задач теории поля. – М.: Радиотехника, 2003. – 336 с.

2. Флетчер К. Численные методы на основе метода Галёркина. – М.: Мир, 1988. – 352 с.

3. Kansa E.J. Motivation for using radial basis functions to solve PDEs // uah.edu/kansaweb.php

4. Васильев А. Н., Тархов Д. А. Новые подходы на основе RBF-сетей к решению краевых задач для уравнения Лапласа на плоскости // Нейрокомпьютеры: разработка, применение. – 2004. – № 7-8. – С. 119 – 126.

5. Nam Mai-Duy, Thanh Tran-Cong. Numerical solution of differential equations using multiquadric radial basis function networks // Neural Networks 14 (2001) 185-199.

6. Numerical solution of elliptic partial differential equation using radial basis function neural networks / Li Jianyu, Luo Siwei, Qi Yingjiana, Huang Yapinga // Neural Networks. – 2003. – 16(5/6. – P. 729 – 734.

7. Деммель Дж. Вычислительная линейная алгебра. Теория и приложения. – М.: Мир, 2001. – 430 с.

8. Вержбицкий В. М. Численные методы (линейная алгебра и нелинейные уравнения). – М.: ООО "Издательский дом "ОНИКС 21 век", 2005. – 432 с.


1 Работа выполнена по тематическому плану научно-исследовательских работ Пензенского государственного педагогического университета, проводимых по заданию Федерального агентства по образованию в 2005 г.

УДК 004.032.26(06) Нейронные сети