\documentclass[12pt,draft,a4paper]{amsart} \usepackage{amsmath,amsthm} \usepackage[T2A]{fontenc} \usepackage[cp1251]{inputenc} \usepackage[english,russian]{babel} \usepackage{amsfonts} \usepackage{latexsym} \tolerance 3550 \renewcommand*{\proofname}{Доказательство} \newcommand*{\ld}{L_2(\mathbb R^d)} \newcommand*{\Rd}{\mathbb R^d} \newcommand*{\RR}{\mathbb R} \newcommand*{\lf}{L_2^{\varphi}(\mathbb R^d)} \newcommand*{\cd}{(\cdot)} \newcommand*{\Ds}{\Delta_\sigma} \newcommand*{\lT}{L_2([0,2\pi])} \newcommand*{\wa}{\widehat\alpha} \newcommand*{\wb}{\widetilde b} \newcommand*{\ws}{\widehat\sigma} \newcommand*{\wxi}{\widehat\xi} \newcommand*{\wm}{\widehat m} \newcommand*{\wx}{\widehat x} \newcommand*{\wz}{\widehat z} \newcommand*{\wu}{\widehat u} \newcommand*{\wL}{\widehat L} \newcommand*{\wJ}{\widehat J} \newcommand*{\wh}{\widehat h} %\newcommand*{\co}{\rm co} \newcommand*{\cone}{\rm cone} \newcommand*{\wy}{\widehat y} \newcommand*{\wl}{\widehat l} \newcommand*{\ov}{\overline} \newcommand*{\wt}{\widehat\tau} \newcommand*{\wv}{\widehat\varphi} \newcommand*{\wM}{\widehat M} \newcommand*{\Wt}{W_2^2([0,2\pi])} \newcommand*{\wf}{\widehat f} %\newcommand*{\intt}{\rm int} %\newcommand*{\cl}{\rm cl} %\newcommand*{\spa}{\rm span} \newcommand*{\la}{\langle} \newcommand*{\ra}{\rangle} \newcommand*{\LL}{\mathcal L} {\theoremstyle{remark}\newtheorem{example}{\bf Пример}[section]} \newtheorem{lemma}{Лемма} \newtheorem{theorem}{Теорема} \newtheorem{corollary}{Следствие} \newtheorem{proposition}{Предложение} \DeclareMathOperator*{\extr}{extr} \DeclareMathOperator*{\infp}{inf\vphantom p} \DeclareMathOperator*{\intt}{int} \DeclareMathOperator*{\cl}{cl} \DeclareMathOperator*{\spa}{span} \DeclareMathOperator*{\co}{co} \DeclareMathOperator*{\dom}{dom} \DeclareMathOperator*{\epi}{epi} \DeclareMathOperator*{\IM}{Im} \DeclareMathOperator*{\Ker}{Ker} \DeclareMathOperator*{\const}{const} \begin{document} \begin{center}\large МИНОБРНАУКИ РОССИИ\\ \vspace{15pt} \large Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования\\[3pt] \bf ``МАТИ --- Российский государственный\\[3pt] технологический университет\\[3pt] имени К.~Э.~Циолковского''\\[25pt] \large Кафедра ``Высшая математика''\\[60pt] \bf К.~Ю.~Осипенко\\[50pt] \bf\Large ВАРИАЦИОННОЕ ИСЧИСЛЕНИЕ И ОПТИМАЛЬНОЕ УПРАВЛЕНИЕ\\[225pt] Москва 2014 \thispagestyle{empty} \end{center} \newpage \tableofcontents \newpage \section{Введение} Многие причины побуждают ставить и решать экстремальные задачи, т.~е. задачи на максимум и минимум. Интерес к ним проявился уже на заре развития математики и основными стимулами были любознательность и стремление к совершенству. Среди наиболее ранних, точно решенных задач --- так называемая {\it изопериметрическая задача} --- задача о форме кривой заданной длины, охватывающей наибольшую площадь (ответ в ней приводил в своих сочинениях еще Аристотель --- IV в. до н. э.) и задача о форме поверхности заданной площади, охватывающей наибольший объем. Ответы на эти задачи для мыслителей Древней Греции были символами совершенства человеческого разума. Крупнейшие их представители: Евклид, Архимед и Аполлоний ставили и решали различные геометрические задачи на экстремум. Задача {\it о параллелограмме наибольшей площади, который можно вписать в треугольник} приводится в ``Началах'' Евклида (III в. до н.~э.); задача {\it о шаровом сегменте максимального объема при заданной площади шаровой части поверхности этого сегмента} содержится в сочинениях Архимеда (тоже III в. до н. э.); задача {\it о минимальном расстоянии от точки плоскости до эллипса и о нормалях к эллипсу из произвольной точки плоскости} была поставлена и решена Аполлонием (III--II в. до н. э.) в его знаменитых ``Кониках''. Долгое время каждая задача решалась индивидуально, по-своему. Первый шаг к исследованию экстремальных задач был сделан П.~Ферма в 1638 году, который доказал (в современных терминах), что производная функции в точке ее локального экстремума равна нулю (хотя понимание этого явления можно извлечь и из более ранних высказываний И.~Кеплера). Данное событие обычно считают началом становления теории экстремума. Затем от рассмотрения задач на максимум и минимум для функций одного переменного перешли к рассмотрению экстремальных задач, где переменные --- сами функции, т.~е. элементы бесконечномерных пространств. Эти задачи породили новое направление в математике, получившее название {\it вариационного исчисления}. Рождение вариационного исчисления часто связывают с задачей о брахистохроне, поставленной И.~Бернулли в 1696 году. Это задача о форме кривой наискорейшего ската, т.~е. о форме кривой, соединяющей две точки в вертикальной плоскости, вдоль которой тело под действием силы тяжести без трения проходит путь от одной точки до другой за кратчайшее время (постановка, по-видимому, была навеяна более ранними размышлениями Галилея на эту тему). Основным мотивом для развития вариационного исчисления явилось то, что многие законы природы, как выяснилось, имеют экстремальный характер, т.~е. они неким загадочным образом являются решениями задач на максимум и минимум. Л.~Эйлер по этому поводу высказался так: ``В мире не происходит ничего, в чем не был бы виден смысл какого-нибудь максимума или минимума''. \section{Экстремальные задачи, их формализация} Задачи на экстремум изначально ставятся, как правило, на языке той области знаний, из которой они происходят. Для того, чтобы эти задачи исследовать математическими средствами, необходимо перевести их на математический язык, т.~е. {\it формализовать}. Этот процесс заключается в описании минимизируемого или максимизируемого функционала $f$ вместе со своей областью определения $X$ и множеством ограничений $C\subset X$. Формализованная экстремальная задача записывается так \begin{equation}\label{P} f(x)\to\min(\max),\quad x\in C, \end{equation} и заключается в нахождении таких точек $x\in C$, в которых функционал $f$ достигает своего минимума (максимума) на $C$. Такие точки называются {\it глобальными} или {\it абсолютными минимумами (максимумами)} в задаче \eqref{P} или ее {\it решениями}. Если нас интересуют и точки минимума, и точки максимума, то вместо $\min(\max)$ пишем $\extr$ и говорим о задаче на экстремум функционала $f$. Отметим еще, что если $\wx$ --- решение задачи \eqref{P} на минимум (максимум), то ясно, что $\wx$ --- решение аналогичной задачи на максимум (минимум) с функционалом $-f$ вместо $f$. Точки из множества ограничений $C$ называются {\it допустимыми} в задаче \eqref{P}. Если $C=X$, то задача \eqref{P} называется задачей {\it без ограничений}. При решении многих конкретных задач нашей целью будет нахождение глобальных экстремумов, но для этого предварительно приходится исследовать задачу на наличие локальных экстремумов (т.~е. локальных минимумов и максимумов). Если в $X$ определено понятие ``окрестности точки'', то точка $\wx\in C$ называется {\it локальным минимумом} ({\it максимумом}) в задаче \eqref{P}, если существует такая ее окрестность $U$, что $f(x)\ge f(\wx)$ ($f(x)\le f(\wx)$) для всех допустимых $x\in U$ (т.~е. для всех $x\in C\cap U$). \section{Производная отображения. Теорема о среднем} Как уже отмечалось первым шагом к исследованию экстремальных задач был результат П.~Ферма о равенстве нулю производной в точке локального экстремума функции. Для того чтобы сформулировать этот результат в достаточно общем виде, дадим определение производной отображения. Пусть $X$ и $Y$ --- линейные нормированные пространства. Совокупность всех линейных непрерывных операторов $\Lambda\colon X\to Y$ обозначим через $\LL(X,Y)$. Это нормированное пространство с нормой $$\|\Lambda\|=\sup_{\|x\|_X\le1}\|\Lambda x\|_Y.$$ В случае, когда $Y=\RR$, $\LL(X,\RR)$ совпадает с множеством всех линейных непрерывных функционалов на $X$ и называется {\it сопряженным пространством} к $X$. Сопряженное пространство к $X$ обозначается $X^*$. Одним из основных примеров рассматриваемых в дальнейшем нормированных пространств будет являться пространство $\Rd$, под которым мы будем понимать совокупность всех упорядоченных наборов $x=\begin{pmatrix}x_1\\ \vdots\\x_d\end{pmatrix}$ из $d$ действительных чисел (если $d=1$, то это просто множество действительных чисел, и мы пишем $\RR$ вместо $\RR^1$). Элементы $x\in\Rd$ называются {\it векторами} или {\it вектор-столбцами}, а числа $x_j$, $j=1,\ldots,d$, --- {\it координатами вектора $x$}. Для экономии места, элементы $\Rd$ будем записывать так $x=(x_1,\ldots,x_d)^{T}$, где символ $^T$ обозначает транспонирование строки в столбец (в общем случае --- транспонирование матрицы). В $\Rd$ естественным образом вводится операция (покоординатного) сложения векторов и операция (покоординатного) умножения вектора на число, превращающие это множество в вещественное линейное пространство. Пусть $x=(x_1,\ldots,x_d)^T\in\Rd$. Величина $$|x|=\sqrt{x_1^2+\ldots+x_d^2}$$ называется {\it длиной} или {\it модулем} вектора $x$. Положив для $x\in\Rd$ $$\|x\|_{\Rd}=|x|$$ (такая норма называется {\it евклидовой нормой}), получим линейное нормированное пространство $\Rd$. Пусть $a=(a_1,\ldots,a_d$) --- вектор-строка из $d$ действительных чисел. Для каждого $x=(x_1,\ldots,x_d)^{T}\in\Rd$ положим $$a\cdot x=\sum_{j=1}^da_jx_j.$$ Это матричное произведение вектор-строки $a$ на вектор-столбец $x$, которое иногда называют {\it внутренним произведением}. Ясно, что отображение $x\mapsto a\cdot x$ есть линейный функционал на $\Rd$. Легко понять, что и любой линейный функционал $l$ на $\Rd$ задается подобным образом с $a=(l(e_1),\ldots,l(e_d))$, где $$e_1=(1,0,\ldots,0)^T,\ldots,e_d=(0,\ldots,0,1)^T$$ --- {\it стандартный базис} в $\Rd$. Таким образом, сопряженное пространство $(\Rd)^*$ можно отождествить с множеством, элементами которого являются наборы из $d$ действительных чисел, но расположенные в строку (с аналогичными операциями сложения и умножения на числа). Пусть $X$ и $Y$ --- нормированные пространства, а $U$ --- открытое подмножество $X$. Отображение $F\colon U\to Y$ называется дифференцируемым в точке $\wx\in U$, если найдется такой оператор $\Lambda\in\mathcal L(X,Y)$, что для всех $h\in X$, для которых $\wx+h\in U$ справедливо представление \begin{equation}\label{Dif} F(\wx+h)=F(\wx)+\Lambda h+r(h), \end{equation} где $r(h)=o(\|h\|_X)$ ($\|r(h)\|_Y/\|h\|_X\to0$ при $h\to0$). Линейный оператор $\Lambda$ называется производной отображения $F$ в точке $\wx$ и обозначается $F'(\wx)$. Нетрудно показать единственность оператора $\Lambda$, удовлетворяющего равенству \eqref{Dif}. Если отображение $F$ дифференцируемо в каждой точке $U$, то определено отображение $F'\colon U\to\LL(X,Y)$, сопоставляющее $x\in U$ производную $F'(x)$. Если это отображение непрерывно в $\wx\in U$ (на $U$), то говорят, что отображение {\it $F$ непрерывно дифференцируемо\/} в $\wx$ (на $U$). Если $X$, $Y$ --- нормированные пространства, то норму в пространстве $X\times Y$ можно, например, определить следующим образом: $$\|(x,y)\|_{X\times Y}=\max\{\|x\|_X,\|y\|_Y\}.$$ Пусть $W$ --- окрестность точки $(\wx,\wy)\in X\times Y$ и $F\colon W\to Z$, где $Z$ --- нормированное пространство. Если отображение $x\to F(x,\wy)$ (определенное на проекции $W$ на $X$) дифференцируемо в точке $\wx$, то соответствующую производную называют {\it частной производной отображения $F$ по $x$ в точке $(\wx,\wy)$} и обозначают $F_x(\wx,\wy)$. Аналогично, частную производную $F$ по $y$ в точке $(\wx,\wy)$ обозначают $F_y(\wx,\wy)$. Рассмотрим некоторые примеры. \begin{example}\label{32} Пусть $U$ --- окрестность точки $\wx\in\Rd$. Тогда функция $f\colon U\to\RR$ дифференцируема в точке $\wx$, если существует линейный функционал на $\Rd$, т.~е. вектор $a=(a_1,\ldots,a_d)\in(\Rd)^*$ такой, что для всех $h\in\Rd$, для которых $\wx+h\in U$ справедливо представление $$f(\wx+h)=f(\wx)+a\cdot h+r(h),$$ где $|r(h)|/|h|\to0$ при $h\to0$, т.~е. $r(h)=o(|h|)$. Отсюда легко следует (беря в качестве $h$ векторы $(h_1,0,\ldots,0)^T$, $\ldots$, $(0,\ldots,0,h_d)^T$), что $a_j$ есть частная производная функции $f$ по переменной $x_j$ в точке $\wx$, $j=1,\ldots d$. Таким образом, $$f'(\wx)=\left(\frac{\partial f}{\partial x_1}(\wx),\ldots,\frac{\partial f}{\partial x_d}(\wx)\right).$$ В классическом анализе обозначают $h=(dx_1,\ldots,dx_d)^T$ и тогда $$f'(\wx)\cdot h=\frac{\partial f}{\partial x_1}(\wx)dx_1+\ldots+\frac{\partial f}{\partial x_d}(\wx)dx_d. $$ Это выражение называется дифференциалом $f$ и обозначается $df(\wx)$. \end{example} \begin{example}\label{33} Пусть теперь $U\subset\RR^{d_1}$ и задано отображение $F\colon U\to\RR^{d_2}$. Линейный оператор $\Lambda\in\LL(\RR^{d_1},\RR^{d_2})$ будем отождествлять с его матрицей в стандартных базисах $$e_1=(1,0,\ldots,0)^T,\ldots,e_{d_1}=(0,\ldots,0,1)^T$$ и $$e'_1=(1,0,\ldots,0)^T,\ldots,e'_{d_2}=(0,\ldots,0,1)^T$$ в $\RR^{d_1}$ и $\RR^{d_2}$ соответственно, т.~е. если $\Lambda e_j=\sum_{i=1}^{d_2}a_{ij}e'_i$, $j=1,\ldots,d_1$, то матрицей оператора $\Lambda$ называется матрица (мы ее обозначаем той же буквой) $\Lambda=(a_{ij})_{1\le i\le d_1, 1\le j\le d_2}$ размера $d_2\times d_1$. В этом случае $\Lambda x$ --- произведение матрицы $\Lambda$ на вектор $x$. Из определения дифференцируемости вытекает, что отображение $F$ дифференцируемо в точке $\wx\in U$, если существует линейный оператор $\Lambda\in\LL(\RR^{d_1},\RR^{d_2})$, т.~е. матрица $\Lambda$ размера $d_2\times d_1$ такая, что для всех $h\in\RR^{d_1}$, для которых $\wx+h\in U$, справедливо представление $$F(\wx+h)=F(\wx)+\Lambda h+r(h),$$ где $|r(h)|/|h|\to0$ при $h\to0$, т.~е. $r(h)=o(|h|)$. Матрица $\Lambda$ называется в этом случае производной отображения $F$ в точке $\wx$ и обозначается $F'(\wx)$. Отображение $F\colon U\to\RR^{d_2}$ можно записать в виде $F(x)=(f_1(x),\ldots,f_{d_1}(x))^T$, где $f_j\colon U\to\RR$, $j=1,\ldots,d_1$ ($f_j(x)$ --- это $j$-ая координата вектора $F(x)$ в стандартном базисе в $\RR^{d_2}$). Легко проверить, что $F$ дифференцируемо в точке $\wx$ тогда и только тогда, когда функции $f_j$, $j=1,\ldots,d_1$, дифференцируемы в $\wx$. При этом строки матрицы $F'(\wx)$ являются векторами $f'_1(\wx),\ldots,f'_{d_2}(\wx)$. Производную $F'(\wx)$ называют {\it матрицей Якоби} отображения $F$ в точке $\wx$. Тем самым $$F'(\wx)=\begin{pmatrix} \dfrac{\partial f_1}{\partial x_1}(\wx)&\dfrac{\partial f_1}{\partial x_2}(\wx)&\ldots&\dfrac{\partial f_1}{\partial x_{d_1}}(\wx)\\[10pt] \dfrac{\partial f_2}{\partial x_1}(\wx)&\dfrac{\partial f_2}{\partial x_2}(\wx)&\ldots&\dfrac{\partial f_2}{\partial x_{d_1}}(\wx)\\ \hdotsfor{4}\\ \dfrac{\partial f_{d_2}}{\partial x_1}(\wx)&\dfrac{\partial f_{d_2}}{\partial x_2}(\wx)&\ldots&\dfrac{\partial f_{d_2}}{\partial x_{d_1}}(\wx)\end{pmatrix}.$$ \end{example} Если $x,y\in X$, то множество $[x,y]=\{z\in X:z=(1-\lambda)x+\lambda y,\ 0\le\lambda\le1\}$ называется {\it отрезком}, соединяющий точки $x$ и $y$. \begin{theorem}[о среднем] Пусть $X$, $Y$ --- нормированные пространства, $U$ --- открытое множество в $X$, отображение $F\colon U\to Y$ дифференцируемо на $U$ и $[x,y]\subset U$. Тогда $$\|F(y)-F(x)\|_Y\le\sup_{z\in [x,y]}\|F'(z)\|\|y-x\|_X.$$ \end{theorem} \begin{proof} Если $F(y)=F(x)$, то утверждение теоремы очевидно. Пусть $F(y)\ne F(x)$. Тогда по следствию из теоремы Хана--Банаха (см. \cite[стр. 195]{KF}) найдется элемент $y^*\in Y^*$ такой, что $\|y^*\|_{Y^*}=1$ и \begin{equation}\label{ts} \la y^*,F(y)-F(x)\ra=\|F(y)-F(x)\|_Y. \end{equation} Рассмотрим функцию $$\varphi(t)=\la y^*,F(x+t(y-x))\ra,\quad0\le t\le1.$$ В силу дифференцируемости $F$ при достаточно малых $\Delta t$ имеем \begin{multline*} \varphi(t+\Delta t)-\varphi(t)=\la y^*,F(x+(t+\Delta t)(y-x))-F(x+t(y-x))\ra\\ =\la y^*,F'(x+t(y-x))(y-x)\ra\Delta t+o(\Delta t). \end{multline*} Тем самым функция $\varphi$ дифференцируема в интервале $(0,1)$ и $$\varphi'(t)=\la y^*,F'(x+t(y-x))(y-x)\ra.$$ Следовательно, по теореме Лагранжа существует такое $0<\theta<1$, что $\varphi(1)-\varphi(0)=\varphi'(\theta)$, или $$\la y^*,F(y)-F(x)\ra=\la y^*,F'(x+\theta(y-x))(y-x)\ra.$$ Отсюда, учитывая \eqref{ts}, $$\|F(y)-F(x)\|_Y\le\|F'(x+\theta(y-x))\|\|y-x\|_X\le\sup_{z\in [x,y]}\|F'(z)\|\|y-x\|_X.$$ \end{proof} Пусть $\Lambda\in\LL(X,Y)$. Применяя теорему о среднем к отображению $G(x)=F(x)-\Lambda x$, получаем \begin{equation}\label{TS} \|F(y)-F(x)-\Lambda(y-x)\|_Y\le\sup_{z\in [x,y]}\|F'(z)-\Lambda\|\|y-x\|_X. \end{equation} \section{Теорема Ферма для гладких задач без ограничений} В этом пункте будет доказан изначальный результат теории экстремума --- теорема Ферма (необходимое условие экстремума для гладких задач без ограничений). Пусть $U$ --- открытое подмножество нормированного пространства $X$ и $f:U\to\RR$. Рассмотрим задачу \begin{equation}\label{PP} f(x)\to\extr,\quad x\in U. \end{equation} \begin{theorem}[Ферма] Если $\wx$ --- локальный экстремум в задаче \eqref{PP} и функция $f$ дифференцируема в $\wx$, то \begin{equation}\label{11} f'(\wx)=0. \end{equation} \end{theorem} \begin{proof} Допустим, что линейный функционал $f'(\wx)$ отличен от нуля. Тогда найдется элемент $x\in X$ такой, что $f'(\wx)\cdot x>0$. В силу открытости $U$ существует $\delta>0$ такое, что $\wx+tx\in U$ для всех $|t|<\delta$. Дифференцируемость $f$ в $\wx$ означает, что при таких $t$ $$f(\wx+tx)=f(\wx)+t(f'(\wx)\cdot x+o(t)/t).$$ Пусть $\delta_0\le\delta$ таково, что $$|o(t)/t|f(\wx)$ для всех $t\in(0,\delta_0)$ и $f(\wx+tx)0$ найдется $\delta>0$ такое, что при $\|x-\wx\|_X<\delta$ выполняется неравенство $\|\alpha(x)\|<\varepsilon$. Поэтому, если $\|x-\wx\|_X<\delta/2$ и $\|\eta\|_X<\delta/2$, то $\|\alpha(x+\eta)\|<\varepsilon$, $\|\alpha(x)\|<\varepsilon$ и $\|\alpha(\wx+\eta)\|<\varepsilon$. Следовательно, \begin{multline}\label{var} \|\varphi'(x)-\varphi'(\wx)\|\le\varepsilon(\|x-\wx\|_X+\|\eta\|_X)+ \varepsilon\|x-\wx\|_X+\varepsilon\|\eta\|_X\\ =2\varepsilon(\|x-\wx\|_X+\|\eta\|_X). \end{multline} Для достаточно малых $\eta$ и $\xi$ положим $$\Delta(\eta,\xi)=F(\wx+\xi+\eta)-F(\wx+\xi)-F(\wx+\eta)+F(\wx).$$ Учитывая \eqref{FF}, имеем \begin{multline*} \|\Delta(\eta,\xi)-F''(\wx)[\eta,\xi]\|_Y=\|\varphi(\wx+\xi)-\varphi(\wx) -F''(\wx)[\eta,\xi]\|_Y\\ =\|\varphi(\wx+\xi)-\varphi(\wx) -\varphi'(\wx)\xi-\alpha(\wx+\eta)\xi\|\eta\|_X\|_Y. \end{multline*} Используя \eqref{TS}, получаем \begin{multline*} \|\Delta(\eta,\xi)-F''(\wx)[\eta,\xi]\|_Y\le\sup_{x\in[\wx,\wx+\xi]} \|\varphi'(x)-\varphi'(\wx)\|\|\xi\|_X\\ +\|\alpha(\wx+\eta)\|\xi\|_X\|\eta\|_X. \end{multline*} Отсюда, с учетом \eqref{var}, при $\|\xi\|_X<\delta/2$ и $\|\eta\|_X<\delta/2$ получаем \begin{multline*} \|\Delta(\eta,\xi)-F''(\wx)[\eta,\xi]\|_Y\le 2\varepsilon(\|\xi\|_X+\|\eta\|_X)\|\xi\|_X+ \varepsilon\|\xi\|_X\|\eta\|_X\\ \le3\varepsilon(\|\xi\|_X+\|\eta\|_X)\|\xi\|_X. \end{multline*} Пусть теперь $\xi$ и $\eta$ --- произвольные элементы $X$. Для достаточно малого $t\in\mathbb R$ будем иметь $$\|\Delta(t\eta,t\xi)-t^2F''(\wx)[\eta,\xi]\|_Y\le 3t^2\varepsilon(\|\xi\|_X+\|\eta\|_X)\|\xi\|_X.$$ Поскольку $\Delta(t\eta,t\xi)=\Delta(t\xi,t\eta)$, то $$\|t^2F''(\wx)[\eta,\xi]-t^2F''(\wx)[\xi,\eta]\|_Y\le3t^2 \varepsilon(\|\xi\|_X+\|\eta\|_X)^2.$$ После сокращения на $t^2$ в силу произвольности $\varepsilon$ приходим к доказываемому равенству. \end{proof} \begin{theorem}[Формула Тейлора] Пусть $X$ и $Y$ --- нормированные пространства, $U$ --- окрестность точки $\wx\in X$. Если отображение $F\colon U\to Y$ дважды дифференцируемо в точке $\wx$, то имеет место формула Тейлора $$F(\wx+h)=F(\wx)+F'(\wx)h+\frac12 F''(\wx)[h,h]+r(h),$$ где $r(h)=o(\|h\|_X^2)$, т.~е. $\|r(h)\|_Y/\|h\|_X^2\to0$ при $h\to 0$. \end{theorem} \begin{proof} Очевидно, что $r(0)=0$. Из примера~\ref{51} следует, что $r'(0)=0$. Таким образом, из \eqref{TS} получаем %\begin{multline*} $$\|r(h)\|_Y=\|r(h)-r(0)-r'(0)h\|_Y\le \sup_{h_1\in[0,h]}\|r'(h_1)-r'(0)\|\|h\|_X.$$ %\end{multline*} Из того же примера~\ref{51} (см. \eqref{hh}) и теоремы~\ref{SP} вытекает, что $r''(0)=0$. Поэтому $$r'(h_1)-r'(0)=r''(0)h_1+o(\|h_1\|_X) =\alpha(h_1)\|h_1\|_X,$$ где $\alpha(h_1)\to0$ при $h_1\to0$. В силу того, что $\|h_1\|_X\le\|h\|_X$, имеем $$\|r'(h_1)-r'(0)\|\le\beta(h)\|h\|_X,$$ где $\beta(h)\to0$ при $h\to0$. Таким образом, $$\|r(h)\|_Y\le\beta(h)\|h\|_X^2.$$ \end{proof} \section{Необходимые и достаточные условия экстремума второго порядка} Пусть $U$ --- открытое подмножество нормированного пространства $X$ и $f:U\to\RR$. \begin{theorem}[необходимые условия экстремума второго порядка в задаче без ограничений] Если $\wx$ --- локальный минимум (максимум) в задаче \eqref{PP} и функция $f$ дважды дифференцируема в $\wx$, то $f'(\wx)=0$ и для любого $h\in X$ выполняется неравенство $$f''(\wx)[h,h]\ge0\quad(\le0).$$ \end{theorem} \begin{proof} Пусть, для определенности, $\widehat x$ --- локальный минимум функции $f$. По теорема Ферма $f'(\widehat x)=0$ и тогда по формуле Тейлора для любого $h\in X$ и достаточно малых $t\in\mathbb R$ имеем $$0\le f(\widehat x+th)-f(\widehat x)=\frac12t^2f''(\wx)[h,h]+o(t^{2}).$$ Отсюда (деля на $t^{2}$ и устремляя $t$ к нулю) получаем требуемое неравенство. Для локального максимума рассуждения аналогичны. \end{proof} Если $X=\Rd$, то $f''(\wx)$ --- матрица Гесса \eqref{Ge}. Тем самым из доказанной теоремы вытекает \begin{corollary} Если $X=\Rd$, $\wx$ --- локальный минимум (максимум) в задаче \eqref{PP} и функция $f$ дважды дифференцируема в $\wx$, то $f'(\wx)=0$ и для любого $h\in\Rd$ выполняется неравенство $$h^Tf''(\wx)h\ge0\quad(\le0).$$ \end{corollary} Перейдем теперь к достаточным условиям экстремума. \begin{theorem}[достаточные условия экстремума второго порядка в задаче без ограничений]\label{TT} Если в задаче \eqref{PP} функция $f$ дважды дифференцируема в $\wx$, $f'(\wx)=0$ и существует $\alpha>0$ такое, что для всех $h\in X$ $$f''(\wx)[h,h]\ge\alpha\|h\|^2_X\quad(\le\alpha\|h\|^2_X),$$ то $\wx$ --- локальный минимум $($максимум$)$. \end{theorem} \begin{proof} Предположим для определенности, что $$f''(\wx)[h,h]\ge\alpha\|h\|^2_X.$$ Тогда для достаточно малых $h$ по формуле Тейлора \begin{multline*} f(\wx+h)-f(\wx)=\frac12f''(\wx)[h,h]+o(\|h\|_X^2)\ge\frac12 \alpha\|h\|_X^2+o(\|h\|_X^2)\\ =\left(\frac\alpha2+o(1)\right)\|h\|_X^2. \end{multline*} Отсюда получаем, что $f(\wx+h)-f(\wx)\ge0$, т.~е. $\wx$ --- локальный минимум. Для локального максимума доказательство аналогично. \end{proof} \begin{corollary}\label{S2} Если $X=\Rd$, функция $f$ в задаче \eqref{PP} дважды дифференцируема в $\wx$, $f'(\wx)=0$ и для всех $h\in\Rd$, $h\ne0$, \begin{equation}\label{Sil} h^Tf''(\wx)h>0\quad(<0), \end{equation} то $\wx$ --- локальный минимум $($максимум$)$. \end{corollary} \begin{proof} Пусть $h^Tf''(\widehat x)h>0$ для любого ненулевого $h\in\Rd$. Функция $h^Tf''(\widehat x)h$ непрерывна на $\Rd$. Обозначим через $\alpha$ ее минимальное значение на единичной сфере $$\mathbb S^{d-1}=\{\,x\in\Rd:|x|=1\,\}.$$ Ясно, что $\alpha>0$. Учитывая, что $h/|h|$ принадлежит $\mathbb S^{d-1}$, будем иметь $$\frac{h^T}{|h|}f''(\widehat x)\frac h{|h|}>\alpha.$$ Следовательно, для всех $h\in\Rd$ $$h^Tf''(\widehat x)h\ge\alpha|h|^2.$$ Теперь утверждение следствия непосредственно вытекает из теоремы~\ref{TT}. \end{proof} Условия \eqref{Sil} означают, что квадратичная форма с матрицей \eqref{Ge} положительно (отрицательно) определена. Согласно критерию Сильвестра это равносильно тому, что главные миноры этой матрицы положительны (чередуют знаки, причем первый --- отрицательный). Заметим, что в бесконечномерном пространстве условия следствия~\ref{S2} уже не являются достаточными для экстремума. Приведем соответствующий пример. Пусть $$X=l_2=\biggl\{\,x=(x_1,x_2,\ldots): \|x\|_{l_2}=\biggl(\sum_{j=1}^\infty x_j^2\biggr)^{1/2}<\infty\,\biggr\}.$$ Рассмотрим отображение $f\colon l_2\to\RR$, задаваемое равенством $$f(x)=\sum_{j=1}^\infty\left(\frac{x_j^2}{j^3}-x_j^4\right).$$ Нетрудно убедиться, что $$f'(x)h=\sum_{j=1}^\infty\left(\frac{2x_jh_j}{j^3}-4x_j^3h_j\right), \quad f''(x)[h,h]=\sum_{j=1}^\infty\left(\frac{2h_j^2} {j^3}-12x_j^2h_j^2\right).$$ Следовательно, $f'(0)=0$ и при всех $h\in l_2$, $h\ne0$, $$f''(0)[h,h]=\sum_{j=1}^\infty\frac{2h_j^2}{j^3}>0.$$ Тем не менее, $\wx=0$ не является локальным минимумом, т.~к. $f(0)=0$, $$f(e_k/k)=\frac1{k^5}-\frac1{k^4}<0,\quad k=2,3,\ldots,$$ где $e_k$ --- $k$-ый базисный вектор $$(e_k)_j=\begin{cases}1,&j=k,\\ 0,&j\ne k,\end{cases}\quad j=1,2,\ldots,$$ и любая окрестность нуля при достаточно больших $k$ содержит точки $e_k/k$. \section{Строгая дифференцируемость. Теорема о суперпозиции} Пусть $X$ --- нормированное пространство, $\wx\in X$ и $r>0$. Положим $$B_X(\wx,r)=\{\,x\in X:\|x-\wx\|_X0$ существует $\delta=\delta(\varepsilon)>0$, обладающее тем свойством, что для всех $x_1,x_2\in B_X(\wx,\delta)$ справедливо неравенство $$\|F(x_1)-F(x_2)-\Lambda(x_1-x_2)\|_Y\le\varepsilon\|x_1-x_2\|_X.$$ Отсюда следует (полагая $x_2=\wx$), что $F$ дифференцируемо в $\wx$ и тем самым $\Lambda=F'(\wx)$. \begin{proposition}\label{Pr1} Пусть $X$, $Y$ --- нормированные пространства, $U$ --- открытое подмножество $X$ и отображение $F\colon U\to Y$ непрерывно дифференцируемо в точке $\wx\in U$. Тогда $F$ строго дифференцируемо в $\wx$. \end{proposition} \begin{proof} Пусть $\varepsilon>0$ и $\delta=\delta(\varepsilon)>0$ такое, что $\|F'(x)-F'(\wx)\|<\varepsilon$ для $x\in B_X(\wx,\delta)$. Если $x_j\in B_X(\wx,\delta)$, $j=1,2$, то $[x_1,x_2]\subset B_X(\wx,\delta)$ и тогда, положив $\Lambda=F'(\wx)$, в силу \eqref{TS}, получаем $$\|F(x_1)-F(x_2)-F'(\wx)(x_1-x_2)\|_Y\le\varepsilon\|x_1-x_2\|_X,$$ т.~е. $F$ строго дифференцируемо в $\wx$. \end{proof} Пусть $X,Y,Z$ --- нормированные пространства, $U$ --- окрестность точки $\wx\in X$, $V$ --- окрестность точки $\wy\in Y$, $\varphi\colon U\to V$, $\varphi(\wx)=\wy$, $\psi\colon V\to Z$, $F=\psi\circ\varphi\colon U\to Z$ --- суперпозиция отображений $\varphi$ и $\psi$. \begin{theorem}[о суперпозиции]\label{TS1} Если отображение $\psi$ дифференцируемо (строго дифференцируемо) в точке $\wy$, а $\varphi$ дифференцируемо (строго дифференцируемо) в точке $\wx$, то отображение $F$ дифференцируемо (строго дифференцируемо) в точке $\wx$ и $$F'(\wx)=\psi'(\wy)\circ\varphi'(\wx).$$ \end{theorem} \begin{proof} Положим для краткости $L=\varphi'(\wx)$ и $M=\psi'(\wy)$. Будем предполагать сначала строгую дифференцируемость $\psi$ в точке $\wy$ и $\varphi$ в точке $\wx$. По определению строгой дифференцируемости для любого $\varepsilon_1>0$ найдутся $\delta_1>0$ и $\delta_2>0$ такие, что для всех $x_1,x_2\in B_X(\wx,\delta_1)$ и для всех $y_1,y_2\in B_Y(\wy,\delta_2)$ справедливы неравенства \begin{align}\label{DD1} \|\varphi(x_1)-\varphi(x_2)-L(x_1-x_2)\|_Y&\le\varepsilon_1 \|x_1-x_2\|_X,\\ \|\psi(y_1)-\psi(y_2)-M(y_1-y_2)\|_Z&\le\varepsilon_1\|y_1-y_2\|_Y. \label{DD2} \end{align} Для любого $\varepsilon>0$ выберем $\varepsilon_1>0$ так, чтобы выполнялось неравенство $$\varepsilon_1\|M\|+\varepsilon_1\|L\|+\varepsilon_1^2<\varepsilon.$$ По так выбранному $\varepsilon_1$ найдем $\delta_1>0$ и $\delta_2>0$ так, чтобы имели место неравенства \eqref{DD1} и \eqref{DD2}. Положим $$\delta=\min\left(\delta_1,\frac{\delta_2}{\varepsilon_1+ \|L\|}\right).$$ Если теперь $x_1,x_2\in B_X(\wx,\delta)$, то из \eqref{DD1} имеем \begin{multline}\label{DD3} \|\varphi(x_1)-\varphi(x_2)\|_Y\le\|\varphi(x_1)-\varphi(x_2)- L(x_1-x_2)\|_Y\\ +\|L(x_1-x_2)\|_Y \le\varepsilon_1\|x_1-x_2\|_X+\|L\|\|x_1-x_2\|_X\\ =(\|L\|+\varepsilon_1)\|x_1-x_2\|_X. \end{multline} Полагая в этом неравенстве $x_1=\wx$, а потом $x_2=\wx$, получаем $$\|\varphi(x_j)-\wy\|_Y<(\|L\|+\varepsilon_1)\delta\le\delta_2,\quad j=1,2.$$ Таким образом, для $y_j=\varphi(x_j)$, $j=1,2$, справедливо \eqref{DD2}. Пользуясь \eqref{DD2}, \eqref{DD1} и \eqref{DD3}, имеем \begin{multline*} \|F(x_1)-F(x_2)-M\circ L(x_1-x_2)\|_Z\\ \le\|\psi(\varphi(x_1))-\psi(\varphi(x_2))- M(\varphi(x_1) -\varphi(x_2))\|_Z\\ +\|M(\varphi(x_1) -\varphi(x_2))-M\circ L(x_1-x_2)\|_Z\le\varepsilon_1\|\varphi(x_1) -\varphi(x_2)\|_Y\\ +\|M\|\|\varphi(x_1) -\varphi(x_2)-L(x_1-x_2)\|_Z\le\varepsilon_1(\|L\|+ \varepsilon_1)\|x_1-x_2\|_X\\ +\|M\|\varepsilon_1\|x_1-x_2\|_X= (\varepsilon_1\|M\|+\varepsilon_1\|L\|+\varepsilon_1^2)\|x_1-x_2\|_X \le\varepsilon\|x_1-x_2\|_X. \end{multline*} Докажем теперь утверждение теоремы для случая, когда $\psi$ дифференцируемо в точке $\wy$ и $\varphi$ дифференцируемо в точке $\wx$. По определению дифференцируемости для любого $\varepsilon_1>0$ найдутся $\delta_1>0$ и $\delta_2>0$ такие, что для всех $\Delta x\in B_X(0,\delta_1)$ и для всех $\Delta y\in B_Y(0,\delta_2)$ справедливы неравенства \begin{align}\label{DDD1} \|\varphi(\wx+\Delta x)-\varphi(\wx)-L\Delta x\|_Y&\le\varepsilon_1 \|\Delta x\|_X,\\ \|\psi(\wy+\Delta y)-\psi(\wy)-M\Delta y\|_Y&\le\varepsilon_1 \|\Delta y\|_Y. \label{DDD2} \end{align} Для любого $\varepsilon>0$ выберем $\varepsilon_1>0$ так, чтобы выполнялось неравенство $$\varepsilon_1\|M\|+\varepsilon_1\|L\|+\varepsilon_1^2<\varepsilon.$$ По так выбранному $\varepsilon_1$ найдем $\delta_1>0$ и $\delta_2>0$ так, чтобы имели место неравенства \eqref{DDD1} и \eqref{DDD2}. Положим $$\delta=\min\left(\delta_1,\frac{\delta_2}{\varepsilon_1+ \|L\|}\right).$$ Если теперь $\Delta x\in B_X(0,\delta)$, то из \eqref{DDD1} имеем \begin{multline}\label{DDD3} \|\varphi(\wx+\Delta x)-\varphi(\wx)\|_Y\le\|\varphi(\wx+\Delta x)-\varphi(\wx)- L\Delta x\|_Y\\ +\|L\Delta x\|_Y \le\varepsilon_1\|\Delta x\|_X+\|L\|\|\Delta x\|_X\\ =(\|L\|+\varepsilon_1)\|\Delta x\|_X<(\|L\|+\varepsilon_1)\delta\le\delta_2. \end{multline} Таким образом, для $\Delta y=\varphi(\wx+\Delta x)-\varphi(\wx)$ справедливо неравенство \eqref{DDD2}. Имеем \begin{multline*} \|F(\wx+\Delta x)-F(\wx)-M\circ L\Delta x\|_Z\\ \le\|\psi(\varphi(\wx+\Delta x))-\psi(\varphi(\wx))- M(\varphi(\wx+\Delta x) -\varphi(\wx))\|_Z\\ +\|M(\varphi(\wx+\Delta x) -\varphi(\wx))-M\circ L\Delta x\|_Z=\|\psi(\wy+\Delta y)-\psi(\wy)-M\Delta y\|_Z\\+\|M(\varphi(\wx+\Delta x) -\varphi(\wx))-M\circ L\Delta x\|_Z\le\varepsilon_1\|\Delta y\|_Y\\ +\|M\|\|\varphi(\wx+\Delta x) -\varphi(\wx)-L\Delta x\|_Y\le\varepsilon_1(\|L\|+ \varepsilon_1)\|\Delta x\|_X\\ +\|M\|\varepsilon_1\|\Delta x\|_X= (\varepsilon_1\|M\|+\varepsilon_1\|L\|+\varepsilon_1^2)\|\Delta x\|_X \le\varepsilon\|\Delta x\|_X. \end{multline*} \end{proof} \section{Теорема о полном дифференциале. Производная оператора Немыцкого} \begin{theorem}[о полном дифференциале]\label{TD} Пусть $X$, $Y$ и $Z$ --- нормированные пространства, $W$ --- открытое подмножество $X\times Y$ и $F\colon W\to Z$. Если частные производные $F_x$ и $F_y$ непрерывны в точке $(\wx,\wy)\in W$, то $F$ --- строго дифференцируемо в $(\wx,\wy)$ и $$F'(\wx,\wy)(\xi,\eta)=F_x(\wx,\wy)\xi+F_y(\wx,\wy)\eta,\quad \xi\in X,\ \eta\in