Основы теории оптимизации (стр. 6 )

(Ax, x) ≥ 0.

Аналогично определяются понятия отрицательно и неположительно определенных операторов.

Если оператор A – λI, где I — тождественный оператор на Rm, а λ R, положительно (неотрицательно) определен, то часто пишут A > λ (соответственно, A ≥ λ). Аналогично определяются записи A < λ и A ≤ λ.

Из курса алгебры известно, что симметричный оператор A удовлетворяет неравенствам

λ ≤ A ≤ Λ,

в том и только том случае, если все точки спектра σ(A) оператора A лежат на отрезке [λ, Λ]:

λ ≤ λi ≤ Λ.

(3)

В частности, поскольку норму в Rm мы считаем евклидовой, для симметричных операторов A имеют место утверждения

||A|| =  max λiσ(A) {|λi|} ≤ max{|λ|, |Λ|}.

(4)

О дифференцируемости функций на Rm.

Напомним ряд понятий и фактов из курса математического анализа, которые потребуются нам в дальнейшем.

Вектор a Rm такой, что

f(x + h) – f(x) – (a, h) = o(h)

при всех h Rm называется производной или градиентом функции f в точке x. Здесь и ниже символ o(h) обозначает произвольную функцию, обладающую свойством

o(h) ||h||  → 0 при h→ Θ.

Функция f называется при этом дифференцируемой в точке x. Градиент обычно обозначается f ′(x), или grad f(x), или f(x). Известно, что в координатной форме градиент имеет вид

f ′(x) =  ( ∂f(x) ∂x1 , ...,  ∂f(x) ∂xm )  =  ( ∂f(x1, ..., xm) ∂x1 , ...,  ∂f(x1, ..., xm) ∂xm ) .

Функция f: Rm → Rm дифференцируемая в каждой точке называется дифференцируемой.

Если дополнительно найдется линейный самосопряженный оператор A: Rm → Rm такой, что при всех h Rm

f(x + h) – f(x) – (f ′(x), h) –  1 2 (Ah, h) = o(h2),

где запись o(h2) означает, что

o(h2) ||h||2  → пpи h→ Θ,

то f называется дважды дифференцируемой в точке x, а оператор A называется второй производной функции f в точке x и обозначается f ′′(x) либо 2f(x). Матрицей, отвечающей оператору A = f ′′(x), служит, как нетрудно видеть, так называемая матрица Гессе или гессиан функции f:

A =  ⌈ | | | | | | | | | ⌊ ∂2f(x) ∂x1∂x1 ··· ∂2f(x) ∂x1∂xm : ··· : ∂2f(x) ∂xm∂x1 ··· ∂2f(x) ∂xm∂xm ⌉ | | | | | | | | | ⌋ .

Замечание. Если A — линейный самосопряженный оператор в Rm,и b Rm, c R и f(x) = (Ax, x)/2 + (b, x) + c, то можно доказать, что f ′(x) = Ax + b, и f ′′(x) = A.

Если функция F: Rm → Rk, то линейный оператор A: Rm → Rk такой, что

F(x + h) – F(x) – Ah = o(h)

называется производной функции F в точке x и обозначается F ′(x) (это обобщение понятия градиента на случай функций со значениями в Rk).

Если функция F: Rm → R дифференцируема, то ее градиент можно рассматривать как функцию из Rm в Rm: каждому x Rm ставится в соответствие точка из f ′(x) Rm.

Можно доказать, что [f ′(x)]′ = f ′′(x). Поясним: здесь [f ′(x)]′ — производная функции x → f ′(x), действующей из Rm в Rm, а f ′′(x) — вторая производная функции f: Rm → Rm.

Приведем еще одно понятие. Функция F: Rm→Rk по определению удовлетворяет условию Липшица с константой Λ, если при всех x, y Rm

||F(x) – F(y)|| ≤ Λ ||x – y||.

Замечание Б. Пусть F: Rm →Rk дифференцируема. тогда существует доказательство, что F удовлетворяет условию Липшица с константой Λ, в том и только том случае, если ||F ′(x)|| ≤ Λ при всех x.

Ниже нам потребуется следующее утверждение. Если f: Rm → R — дважды непрерывно дифференцируемая функция, то для того, чтобы ее градиент f ′ удовлетворял условию Липшица с константой Λ необходимо и достаточно, чтобы при всех x Rm выполнялось неравенство f′′≤Λ. Действительно, в силу замечания А, при всех t R и x, h Rm

(f ′(x + th), th) – (f ′(x), th) = (f ′′(x)th, th) + (o(th), th).

Но тогда в силу условия Липшица для f ′

(f ′′(x)h, h) ≤  1 t2 |(f ′(x + th) – f ′(x), th)| +  |o(th, th)| t2  ≤

≤  Λ||th||2 t2  +  ||o(th)|| · ||th|| t2  = Λ ||h||2 +  ||o(th)|| t ||h||.

Устремляя t к 0, получим неравенство