Методы Хука-Дживса Содержание 1. Введение 2. Метод Хука-Дживса 3. Модифицированный метод Хука-Дживса 4. Блок-схема данного метода 5. Блок-схема единичного исследования 6. Текст программы 7. Распечатка результатов работы программы 8. Литература Введение На разработку методов прямого поиска для определения минимума функций и переменных
было затрачено много усилий . Методы прямого поиска являются методами, в которых используются только значения функции. Мы рассмотрим подробно лишь один из них. Практика показала, что этот метод эффективен и применим для широкого числа приложений. Рассмотрим функцию двух переменных. Ее линии постоянного уровня1 на рис. 1, x2 рис. 1 C D A B x1 а минимум лежит в точке x1,x2.
Простейшим методом поиска является метод покоординатного спуска. Из точки А мы производим поиск минимума вдоль направления оси и , таким образом, находим точку В, в которой касательная к линии постоянного уровня параллельна оси . Затем, производя поиск из точки В в направлении оси , получаем точку С, производя поиск параллельно оси , получаем точку
D, и т. д. Таким образом, мы приходим к оптимальной точке. Очевидным образом эту идую можно применить для функций n-переменных. Теоретически данный метод эффективен в случае единственного минимума функции. Но на практике он оказывается слишком медленным. Поэтому были разработаны более сложные методы, использующие больше информации на основании уже полученных значений функции.
Метод Хука-Дживса Метод Хука-Дживса был разработан в 1961 году, но до сих пор является весьма эффективным и оригинальным. Поиск состоит из последовательности шагов исследующего поиска вокруг базисной точки , за которой в случае успеха следует поиск по образцу. Он применяется для решения задачи минимизирования функции без учета ограничений . Описание этой процедуры представлено ниже А. Выбрать начальную базисную точку b1 и шаг длиной h1 для
каждой переменной xj, j 1, 2 n. В приведенной ниже программе для каждой переменной используется шаг h, однако указанная выше модификация тоже может оказаться полезной. Б. Вычислить f х в базисной точке b1 с целью получения сведений о локальном поведении функции f x. Эти сведения будут использоваться для нахождения подходящего направления поиска по образцу, с помощью которого можно надеяться достичь большего убывания значения функции.
Функция fx в базисной точке b1, находится следующим образом 1. Вычисляется значение функции f b1 в базисной точке b2. Каждая переменная по очереди изменяется прибавлением длины шага. Таким образом, мы вычисляем значение функции f b1h1e1, где e1 единичный вектор в направлении оси x1. Если это приводит к уменьшению значения функции, то b1 заменяется на b1h1e1.
В противном случае вычисляется значение функции f b1-h1e1, и если ее значение уменьшилось, то b1 заменяем на b1-h1e1. Если ни один из проделанных шагов не приводит к уменьшению значения функции, то точка b1 остается неизменной и рассматриваются изменения в направлении оси х2, т. е. находится значение функции f b1h2e2 и т. д. Когда будут рассмотрены все n переменные, мы будем иметь новую базисную точку b3. Если b2b1, т. е. уменьшение функции не было достигнуто, то исследование повторяется вокруг той же базисной
точки b1, но с уменьшенной длиной шага. На практике удовлетворительным является уменьшение шага шагов в десять раз от начальной длины. 4. Если , то производится поиск по образцу. В. При поиске по образцу используется информация, полученная в процессе исследования, и минимизация функции завершается поиском в направлении, заданном образцом. Эта процедура производится следующим образом 3. Разумно двигаться из базисной точки b2 в направлении
b2-b1, поскольку поиск в этом направлении уже привел к уменьшению значения функции. Поэтому вычислим функцию в точке образца P1b12b2-b1 . В общем случае Pibi2bi1-bi . 2. Затем исследование следует продолжать вокруг точки Р1 Рi . 3. Если наименьшее значение на шаге В, 2 меньше значения в базисной точке b2 в общем случае bi1, то получают новую базисную точку b3 bi2, после чего следует повторить шаг
В, 1. В противном случае не производить поиск по образцу из точки b2 bi1, а продолжить исследования в точке b2 bi1. Г. Завершить этот процесс, когда длина шага длины шагов будет уменьшена до заданного малого значения. Модифицированный метод Хука-Дживса Этот метод нетрудно модифицировать и для учета ограничений .Было выдвинуто предложение , что для этого будет вполне достаточно при решении задачи минимизации присвоить
целевой функции очень большое значение там,где ограничения нарушаются .К тому же такую идею просто реализовать с помощью програмирования . Нужно проверить ,каждая ли точка ,полученная в процессе поиска , принадлежит области ограничений .Если каждая , то целевая функция вычисляется обычным путем . Если нет , то целевой функции присваивается очень большое значение .
Таким образом , поиск будет осуществляться снова в допустимой области в направлении к минимальной точке внутри этой области. В тексте прогаммы модифицированного метода прямого поиска Хука-Дживса сделана попытка реализовать такую процедуру. Рассматриваемая задача формулируется следующим образом минимизировать f x1,x2 3x124x1x25x22 , при ограничениях x x x1x . Текст программы program HuDjMody Модифицированный метод
Хука-Дживса при наличии ограничений uses crt label 0,1,2,3,4,5,6,7 var k,h,z,ps,bs,fb,fi real i,j,n,fe integer x,y,b,p array1 10 of real Процедура,вычисляющая функцию procedure calculate begin z3sqrx14x1x25sqrx2 if x1 0 or x2 0 or x1x2 4 then z1.7e38 fefe1 Счетчик end begin clrscr gotoxy20,2 writelnМодифицированный метод Хука-Дживса gotoxy23,3 writeln при наличии ограничений writeln writelnВведите число переменных readlnn writeln writelnВведите начальную точку x1,x2 xN for i1 to n do readlnxi writeln writelnВведите
длину шага readlnh writeln kh fe0 for i1 to n do begin yixi pixi bixi end calculate fiz writelnНачальное значение функции, z23 for i1 to n do writelnxi23 ps0 bs1 Исследование вокруг базисной точки j1 fbfi 0 xjyjk calculate if z fi then goto 1 xjyj-k calculate if z fi then goto 1 xjyj goto 2 1 yjxj 2 calculate fiz writelnПробный шаг z23 for i1 to n do writelnxi23 if jn then goto 3 jj1 goto 0 3 if fi fb-1e-08 then goto 6
После оператора 3,если функция не уменьшилась, произвести поиск по образцу if ps1 and bs0 then goto 4 Но если исследование производилось вокруг точки шаблона PT,и уменьшение функции не было достигнуто, то изменить базисную точку в операторе 4 в противном случае уменьшить длину шага в операторе 5 goto 5 4 for i1 to n do begin pibi yibi xibi end calculate bs1 ps0 fiz fbz writelnЗамена базисной точки, ,z23 for i1 to n do writelnxi13 следует за последним комментарием
и провести исследование вокруг новой базисной точки j1 goto 0 5 kk10 writelnУменьшить длину шага if k 1e-08 then goto 7 Если поиск незакончен,то произвести новое исследование вокруг новой базисной точки j1 goto 0 Поиск по образцу 6 for i1 to n do begin pi2yi-bi biyi xipi yixi end calculate fbfi ps1 bs0 fiz writelnПоиск по образцу, ,z23 for i1 to n do writelnxi23 После этого произвести исследование вокруг последней точки образца j1 goto 0 7 writelnМинимум найден
for i1 to n do writelnx,i pi23 writeln writelnМинимум функции равен, ,fb23 writelnКоличество вычислений функции равно, ,fe repeat until keypressed end. Приведенная выше программа реализует описанную процедуру. Одной или двух точек бывает недостаточно для определения начальной точки. Первая точка всегда должна выбираться осмотрительно. ЭВМ работает только с ограниченной точностью, и ошибки могут накапливаться в процессе сложных вычислений,
особенно если шаг имеет неудобную длину. Обычно мы будем избегать неудобной длины, но программа должна быть работоспособна и в таких ситуациях. Поэтому в строке , где выясняется вопрос об изменении базисной точки, мы избегаем уменьшения длины шага из-за накапливания ошибки введением длины шага, равной . Мы отслеживаем, где производится исследование в базисной точке В5 1, Р5 0 или в точке образца В5 0, Р5 1. Как можно убедиться на практике, если не принимаются такие
меры предосторожности даже программа с удовлетворительной логикой будет неработоспособна. В приведенной программе минимальная длина шага равна , но она может быть изменена . Для контроля за выполнением процедуры в программу введена печать промежуточных результатов. Для увеличения скорости счета могут быть удалены строки вывода подсказок и пояснений. Процедура calculate вычисляет значение минимизируемой функции ,в нашем случае f x1,x2 3x124x1x25x22
, при ограничениях x x x1x . Минимум, равный 44, достигается в точке 31 при ограничении x1x24. Для начальной точки 43 и при длине шага , равной единице , программой успешно решена задача минимизации . Ниже приведена распечатка результата работы программы Модифицированный метод Хука-Дживса при наличииограничений Введите число переменных 2 Введите начальную точку х1,х2 хN 4 3
Введите длину шага 1 Начальное значение функции 141.000 4.000 3.000 Пробный шаг 108.000 3.000 3.000 Пробный шаг 71.000 3.000 2.000 Поиск по образцу 1.701566Е0038 2.000 1.000 Пробный шаг 44.000 3.000 1.000 Пробный шаг 44.000 3.000 1.000 Поиск по образцу 1.701566Е0038 3.000 0.000 Пробный шаг 48.000 4.000 0.000 Пробный шаг 48.000 4.000 0.000
Замена базисной точки 44.000 3.000 1.000 Пробный шаг 44.000 3.000 1.000 Пробный шаг 44.000 3.000 1.000 Уменьшить длину шага Пробный шаг 44.000 3.000 1.000 Пробный шаг 44.000 3.000 1.000 Уменьшить длину шага Пробный шаг 44.000 3.000 1.000 Пробный шаг 44.000 3.000 1.000 Уменьшить длину шага
Пробный шаг 44.000 3.000 1.000 Пробный шаг 44.000 3.000 1.000 Уменьшить длину шага Пробный шаг 44.000 3.000 1.000 Пробный шаг 44.000 3.000 1.000 Уменьшить длину шага Пробный шаг 44.000 3.000 1.000 Пробный шаг 44.000 3.000 1.000 Уменьшить длину шага Пробный шаг 44.000 3.000 1.000
Пробный шаг 44.000 3.000 1.000 Уменьшить длину шага Пробный шаг 44.000 3.000 1.000 Пробный шаг 44.000 3.000 1.000 Уменьшить длину шага Минимум найден х1 3.000 х2 1.000 Минимум функции равен 44.000 Количество вычислений равно 74 Для начальной точки 34 и длины шага , равной единице , программой также успешно решена задача минимизации
. Для начальной точки 56 и длины шага , равной единице , задача не решена , т.к. программа остановилась в точке 13 , т.е. на активном ограничении , и выдала неверный результат . Распечатка результата работы программы приведена ниже Модифицированный метод Хука-Дживса при наличииограничений Введите число переменных 2 Введите начальную точку х1,х2 хN 5 6
Введите длину шага 1 Начальное значение функции 375.000 5.000 6.000 Пробный шаг 324.000 4.000 6.000 Пробный шаг 253.000 4.000 5.000 Поиск по образцу 155.000 3.000 4.000 Пробный шаг 124.000 2.000 4.000 Пробный шаг 81.000 2.000 3.000 Поиск по образцу 1.701566Е0038 0.000 1.000 Пробный шаг 1.701566Е0038 0.000 1.000 Пробный шаг 1.701566Е0038 0.000 1.000
Замена базисной точки 81.000 2.000 3.000 Пробный шаг 60.000 1.000 3.000 Пробный шаг 60.000 1.000 3.000 Поиск по образцу 1.701566Е0038 0.000 3.000 Пробный шаг 60.000 1.000 3.000 Пробный шаг 60.000 1.000 3.000 Замена базисной точки 60.000 1.000 3.000 Пробный шаг 60.000 1.000 3.000 Пробный шаг 60.000 1.000 3.000 Уменьшить длину шага
Пробный шаг 60.000 1.000 3.000 Пробный шаг 60.000 1.000 3.000 Уменьшить длину шага Пробный шаг 60.000 1.000 3.000 Пробный шаг 60.000 1.000 3.000 Уменьшить длину шага Пробный шаг 60.000 1.000 3.000 Пробный шаг 60.000 1.000 3.000 Уменьшить длину шага Пробный шаг 60.000 1.000 3.000
Пробный шаг 60.000 1.000 3.000 Уменьшить длину шага Пробный шаг 60.000 1.000 3.000 Пробный шаг 60.000 1.000 3.000 Уменьшить длину шага Пробный шаг 60.000 1.000 3.000 Пробный шаг 60.000 1.000 3.000 Уменьшить длину шага Пробный шаг 60.000 1.000 3.000 Пробный шаг 60.000 1.000 3.000
Уменьшить длину шага Минимум найден х1 1.000 х2 3.000 Минимум функции равен 60.000 Количество вычислений равно 89 Аналогичные неутешительные результаты были получены для начальной точки 56 и длины шага , равной 0.5 .Неверное решение было найдено в точке 1.52.5 . Для начальной точки 43 и длины шага , равной 0.5 ,программа работала нормально , но было получено неверное решение в точке 2.51.5 .
Проблема понятна . С помощью данного метода невозможно двигаться вдоль границы области ограничений и сходимость достигается в первой же точке границы , где и находится решение . Общая задача оптимизации при наличии ограничений очень сложна и для получения практического метода решения требуются более изощренные процедуры , чем приведенная выше . Литература 1. Б.Банди Методы оптимизации 2. Р.Хук ,
Т.А.Дживс Прямой поиск решения для числовых и статических проблем , 212-219 с 1961 .