Метод Дэвидона-Флетчера-Пауэлла

Министерство науки, высшей школы и технической

политики Российской Федерации.

Новосибирский Государственный

Технический Университет.

Реферат по исследованию операций на тему

Метод Дэвидона - Флетчера - Пауэлла<.

Вариант №2.

Факультет: АВТ.

Кафедра: АСУ.

Группа: АС-513.

Студент: Бойко Константин Анатольевич.

Преподаватель: Ренин Сергей Васильевич.

Дата: 19 октября 1997 года.

Новосибирск

Введение.

Первоначально метод был предложен Дэвидоном (Davidon [1959] ), затем развит Флетчером и Пауэллом (Fletcher, Powell [1963] ). Метод Дэвидона - Флетчера - Пауэлла называют также и методом переменной метрики. Он попадает в общий класс квазиньютоновских процедур, в которых направления поиска задаются в виде -D_jj , где D_j - положительно определенная симметрическая матрица порядка j₊₁ представляется в виде суммы D_j и двух симметрических матриц ранга один каждая. В связи с этим схема иногда называется схемой коррекции ранга два.

лгоритм Дэвидона - Флетчера - Пауэлла.

Рассмотрим алгоритм Дэвидона - Флетчера - Пауэлла минимизации дифференцируемой функции нескольких переменных. В частности, если функция квадратичная, то, как будет показано позднее, метод вырабатывает сопряженные направления и останавливается после выполнения одной итерации, т.е. после поиска вдоль каждого из сопряженных направлений.

Начальный этап.

Пусть >0 - константа для остановки. Выбрать точку х₁ и начальную симметрическую положительно определенную матрицу D₁. Положить 1 = x₁,

Основной этап.

Шаг 1. Если çêj) çê< j = <- D_jj) и взять в качестве j оптимальное решение задачи минимизации j + j) при j+1 = y_j + jd_j. Если 1 = x_k+1 = y_n+1, заменить

Шаг 2. Построить D_j+1 следующим образом :

(1)

где

j = jd_j, (2)

j = j+1) - j). (3)

Заменить

Пример.

Рассмотрим следующую задачу :

минимизировать (x₁ - 2)⁴ + (x₁ - 2x₂)².

Результаты вычислений методом Дэвидона - Флетчера - Пауэлла приведены в таблице 1.

Таблица 1. Результаты вычислений по методу Дэвидона - Флетчера - Пауэлла.

k	xk f(xk)	j	yj f(yj)	j)	çêj) çê	D	dj	lj	yj+1
1	(0.00, 3.00) (52.00)	1 2	(0.00, 3.00) (52.00) (2.70, 1.51) (0.34)	(-44.00, 24.00) (0.73, 1.28)	50.12 1.47		(44.00, -24.00) (-0.67, -1.31)	0.062 0.22	(2.70, 1.51) (2.55, 1.22)
2	(2.55, 1.22) (0.1036)	1 2	(2.55, 1.22) (0.1036) (2.45, 1.27) (0.0490)	(0.89, -0.44) (0.18, 0.36)	0.99 0.40		(-0.89, 0.44) (-0.28, -0.25)	0.11 0.64	(2.45, 1.27) (2.27, 1.11)
3	(2.27, 1.11) (0.008)	1 2	(2.27, 1.11) (0.008) (2.25, 1.13) (0.004)	(0.18, -0.20) (0.04, 0.04)	0.27 0.06		(-0.18, 0.20) (-0.05, -0.03)	0.10 2.64	(2.25, 1.13) (2.12, 1.05)
4	(2.12, 1.05) (0.5)	1 2	(2.12, 1.05) (0.5) (2.115, 1.058) (0.2)	(0.05, -0.08) (0.004, 0.004)	0.09 0.006		(-0.05, 0.08)	0.10	(2.115, 1.058)

На каждой итерации вектор d_j для ЦD_jj), где D₁ ннЦ единичная матрица, D₂ вычисляется по формулам (1) - (3). При
1 = (2.7, -1.49)^T, q₁ = (44.73, -22,72)^T. На второй итерации

1 = (-0.1, 0.05)^T, q₁ = (-0.7, 0.8)^T и, наконец, на третьей итерации

1 = (-0.02, 0.02)^T, q₁ = (-0.14, 0.24)^T. Точка j+1 вычисляется оптимизацией вдоль направления d_j при начальной точке j для 2 = (2.115, 1.058)^T на четвертой итерации, так как норма çê2) çê<= 0.006 достаточно мала. Траектория движения, полученная методом, показана на рисунке 1.

Рисунок 1. Метод Дэвидона - Флетчера - Пауэлла.

Лемма 1 показывает, что каждая матрица D_j положительно определена и d_j является направлением спуска.

Для доказательства леммы нам понадобится :

Теорема 1. Пусть S - непустое множество в Е_n, точка

Определение. Пусть n и <|Ty<| - абсолютное значение скалярного произведения Ty. Тогда выполняется следующее неравенство, называемое неравенством Шварца : <|Ty<| £ <||

Лемма 1.

Пусть 1 Î Е_n, D₁ - начальная положительно определенная симметрическая матрица. Для j+1 = y_j + jd_j, где d_j = ЦD_jj), а j является оптимальным решением задачи минимизации j + j) при j+1 определяется по формулам (1) - (3). Если j) ¹ 0 для
1, ..., D_n симметрические и положительно определенные, так что d₁,..., d_n - направления спуска.

Доказательство.

Проведем доказательство по индукции. При 1 симметрическая и положительно определенная по словию леммы. Кроме того,
1)^Td₁ = Ц1)^TD₁1) < 0, так как D₁ положительно определена. Тогда по теореме 1 вектор d₁ определяет направление спуска. Предположим, что тверждение леммы справедливо для некоторого n, тогда из (1) имеем

(4)

Так как D_j - симметрическая положительно определенная матрица, то существует положительно определенная матрица D_j^1/2, такая, что D_j = D_j^1/2D_j^1/2. Пусть
j^1/2x и j^1/2q_j. Тогда x^TD_jx = a^Ta, q_j^TD_jq_j = b^Tb и x^TD_jq_j = a^Tb. Подставляя эти выражения в (4), получаем :

(5)

По неравенству Шварца имеем (a^Ta)(b^Tb) ³ (a^Tb)². Таким образом, чтобы доказать, что TD_j+1x ³ 0, достаточно показать, что p_j^Tq_jа > 0 и b^Tb > 0. Из (2) и (3) следует, что

p_j^Tq_j = jd_j^T[_j+1) - _j)]. (6)

По предположениюj) ¹ 0, и D_j положительно определена, так что
_j)^TD_jj) > 0. Кроме того, d_j - направление спуска, и, следовательно, j а> 0. Тогда из (6) следует, что p_j^Tq_j > 0. Кроме того, jа ¹ 0, и, следовательно, b^Tb= q_j^TD_jq_jа > 0.

Покажем теперь, что TD_j+1x > 0. Предположим, что TD_j+1x = 0. Это возможно только в том случае, если (a^Ta)(b^Tb) = (a^Tb)² и p_j^Tx = 0. Прежде всего заметим, что
(a^Ta)(b^Tb) = (a^Tb)² только при j^1/2x = j^1/2q_j. Таким образом, j. Так как j^Tx = j^Tq_j противоречит тому, что p_j^Tq_j > 0 и TD_j+1x > 0, т.е. матрица D_j+1 положительно определена.

Поскольку j₊₁) ¹ 0 и D_j+1 положительно определена, имеем
j₊₁)^Td_j+1 = Цj₊₁)^T D_j+1j₊₁) < 0. Отсюда по теореме 1 следует, что d_j+1 - направление спуска.

Лемма доказана.

Квадратичный случай.

В дальнейшем нам понадобиться :

Теорема 2. Пусть f(x) = c^Tx + 1 x^THx, где Н - симметрическая матрица порядка 1, Е, d_n и произвольную точку 1. Пусть k для k = 1, Е, n - оптимальное решение задачи минимизации
f(x_k + k) при 1 и k+1 = x_k + аk. Тогда для

1. а<_k+1)^Td_j = 0, j = 1, Е, k;

2. а<₁)^Td_k = _k)^Td_k;

3. аk+1 является оптимальным решением задачи минимизации 1 Î L(d₁, Е, d_k), где L(d₁, Е, d_k) - линейное подпространство, натянутое на векторы d₁, Е, d_k, то есть В частности, n+1 - точка минимума функции n.

Если целевая функция 1, Е, d_n, генерируемые методом Дэвидона - Флетчера - Пауэлла, являются сопряженными. Следовательно, в соответствии с тверждением 3 теоремы 2 метод останавливается после завершения одной итерации в оптимальной точке. Кроме того, матрица D_n+1, полученная в конце итерации, совпадает с обратной к матрице Гессе Н.

Теорема 3. Пусть Н - симметричная положительно определенная матрица порядка Tx + 1 x^THx при словии n. Предположим, что задача решена методом Дэвидона - Флетчера - Пауэлла при начальной точке 1 и начальной положительно определенной матрице D₁. В частности, пусть j, j = 1, Е, n, - оптимальное решение задачи минимизации j + j) при j₊₁ = y_j + jd_j, где d_j = -D_jj), а D_j определяется по формулам (1) - (3). Если j) ¹ 0 для всех d₁, Е, d_n являются Н - сопряженными и D_n+1 = H^-1. Кроме того, n+1 является оптимальным решением задачи.

Доказательство.

Прежде всего покажем, что для

1. аd₁, Е, d_j линейно независимы.

2. аd_j^THd_k = 0 для

3. D_j+1Hp_k, или, что эквивалентно, D_j+1Hd_k = d_k для 1 £ k = kd_k.

Проведем доказательство по индукции. Для

Hp_k = H(kd_k) = H(y_k+1 - y_k) = _k+1) Ц_k) = q_k. (7)

В частности, Hp₁ = q₁. Таким образом, полагая

т.е. утверждение 3 справедливо при

Теперь предположим, что тверждения 1, 2 и 3 справедливы для i^T_j+1) = 0 для i = D_j+1Hd_i, i £ j. Таким образом, для

0 = d_i^T_j+1) = d_i^THD_j+1j+1) = Цd_i^THd_j+1.

Ввиду предположения индукции это равенство показывает, что тверждение 2 также справедливо для

Теперь покажем, что тверждение 3 справедливо для

Полагая

(8)

учитывая (7) и полагая j+2Hp_j+1 = p_j+1. Теперь пусть

p_j+1^THp_k = kl_j+1d_j+1^THd_k = 0. (9)

По предположению индукции из (7) и вследствие того, что тверждение 2 справедливо для

а. (10)

Подставляя (9) и (10) в (8) и учитывая предположение индукции, получаем

Таким образом, тверждение 3 справедливо для

Осталось показать, что тверждение 1 справедливо для аположительно определена, так что H положительно определена, то аи, следовательно, d₁, Е, d_j линейно независимы по предположению индукции, то адля 1, Е, d_j+1 линейно независимы и тверждение 1 справедливо для 1, Е, d_n следует из тверждений 1 и 2, если положить

Пусть теперь адля 1, Е, d_n, то D имеет обратную, то аявляется оптимальным решением по теореме 2.

Теорема доказана.

Список литературы.

1. Базара М., Шетти К. Нелинейное программирование. Теория и алгоритмы<. М., 1982.

2. Химмельблау Д. Прикладное нелинейное программирование<. М., 1975.