Лекция № 1 (04.09.10)

Лекция № 1 (04.09.10)

§ 9.3. Метод наименьших квадратов

Так называется метод (предложенный великим C. F. Gauss’ом) «решения» несовме­стных систем. Такая задача иногда возникает в практике, например, при математической обработке результатов наблюдений и др. Разумеется, в прямом смысле решить несовмест­ную систему невозможно, однако Gauss придумал некий приближённый способ решения.

Рассмотрим следующую задачу, которая иллюстрирует некоторые задачи, возни­кающие в практике.

Предположим, из теории известно, что некоторая физическая величина y квадра­тичным образом зависит от времени t:

y = f(t) = at2 + bt + c,

однако коэффициенты a, b и c нам неизвестны, и мы хотим определить их эксперимен­тальным путём. Для этого в некоторые моменты времени

t1, t2, …, tn

мы измеряем (с помощью какого-то прибора) значения нашей величины yi = f(ti).

Для определения коэффициентов у нас получается система n линейных уравнений с неизвестными a, b и c:

Однако из-за погрешностей измерения эта система скорее всего будет несовмест­ной. Если нанести соответствующие точки на график, то они будут концентрироваться во­круг некоторой параболы, но точно на какую-то параболу не лягут. Так вот, метод наи­меньших квадратов позволит нам найти такие коэффициенты, что соответствующая пара­бола будет в некотором (точном) смысле наилучшим образом приближать наше множе­ство точек, наименьшим возможным образом отклоняясь от них.

Пусть теперь дана произвольная система линейных уравнений; запишем её в век­торном виде:

x1a1 + x2a2 + … + xnan = b,

где векторы a1, a2, …, an (столбцы коэффициентов при неизвестных) и b (столбец свобод­ных членов) принадлежат s-мерному координатному евклидову пространству (s − количе­ство уравнений). Мы знаем, что данная система совместна тогда и только тогда, когда вектор b лежит в линейном подпространстве L = áa1, a2, …, anñ (линейной оболочке этих векторов). Пусть система несовместна. Будем считать набор чисел x1, x2, …, xn прибли­жённым решением данной системы, полученным методом наименьших квадратов, если вектор левой части, посчитанный для данного набора, наименьшим возможным образом

отличается от правой части, т. е. длина разности правой и левой частей, рассматриваемых как векторы, является наименьшей возможной. Эта наименьшая длина считается мерилом погрешности в данном методе.

По лемме о перпендикуляре и наклонной (см. лекцию № 23 прошлого семестра, лемма из п. 9.2.1) эта разность должна быть перпендикулярна L. Отсюда вытекает метод наименьших квадратов. Берём правую часть нашей системы (вектор b) и ортогонально проектируем её на подпространство L (линейную оболочку). Полученную проекцию c подставляем в правую часть нашей системы вместо вектора b и решаем новую систему. Она уже будет совместной. Если новая система имеет бесконечно много решений, то лю­бое из них можно считать решением нашей задачи (они все равноправны).

Рассмотрим теперь конкретные примеры.

Система явно несовместна. Обозначим

Тогда

x1a1 + x2a2 = b.

Пусть u − проекция вектора b на L = ‹a1, a2› − линейную оболочку векторов a1 и a2. Тогда новая система уравнений будет такова:

x1a1 + x2a2 = u.

Так как u − проекция, вектор b − u будет ортогонален как a1, так и a2, так что

(b – x1a1 − x2a2, a1) = 1 – 7x1 – 4x2 = 0;

(b – x1a1 − x2a2, a2) = −1 – 4x1 – 7x2 = 0.

Решая эту систему, получаем: x1 = ; x2 = −.

Другой пример:

Здесь a1 = , a2 =, b =;

(b – x1a1 − x2a2, a1) = 3 – 3x1 – 3x2 = 0;

(b – x1a1 − x2a2, a2) = 3 – 3x1 – 3x2 = 0.

Отличие этого примера от предыдущего в том, что новая система (которая всегда совме­стна) имеет бесконечно много решений, определяемых уравнением x1 + x2 = 1. Причина этого в том, что векторы a1 и a2 линейно зависимы, и подпространство L одномерно. Та­ким образом, исходная несовместная система имеет бесконечно много (равноценных) приближений.

Глава 10. Квадратичные формы

§ 10.1. Билинейные формы

10.1.1. Основные понятия

Определение. Пусть L − произвольное линейное пространство над полем K. Ото­бражение l: L2 ® K называется билинейной формою, если выполняются следующие усло­вия:

1) l(a + b, c) = l(a, c) + l(b, c) для любых a, b, c Î L;

2) l(λa, b) = λl(a, b) для любых a, b Î L и любого λ Î K;

3) l(a, b + c) = l(a, b) + l(a, c) для любых a, b, c Î L;

4) l(a, λb) = λl(a, b) для любых a, b Î L и любого λ Î K.

Первые два условия в совокупности называются линейностью по первому аргументу, по­следние два − линейностью по второму аргументу.

Если вдобавок

5) l(a, b) = l(b, a) для любых a, b Î L,

то квадратичная форма называется симметрическою.

Примеры. 1. Любое скалярное произведение является симметрическою билиней­ною формою.

2. В пространстве R3 определим: для x = и y =

l(x, y) = x1y1 − x2y3.

Это билинейная форма (проверьте!), но она не является симметрической. В самом деле, пусть x = и y = ; тогда

l(x, y) = l(,) = x1y1 − x2y3 = −1;

с другой стороны,

l(y, x) = l(,) = x1y1 − x3y2 = 0.

3. В пространстве непрерывных на отрезке [a, b] функций отображение

(f, g) ® f(t)g(t)dt

является симметрической билинейной формой (см. пример 3 из лекции № 22, пункт 9.1.1).и = = м

тве матрицыия ь нашу теорему так:

Определение. Путь в нашем пространстве L дан базис a1, a2, …, an. Матрица G, со­ставленная из элементов поля gij = l(ai, aj), называется матрицей данной билинейной формы в данном базисе (иногда она называется матрицею Gram’а).

Очевидно, что матрица симметрической билинейной формы является симметриче­ской, т. е. всегда gij = gji. Обратное утверждение также верно (простое упражнение).

10.1.2. Выражение значения билинейной формы через координаты векторов

Пусть в пространстве L даны билинейная форма l и базис a1, a2, …, an. Пусть также даны векторы x, y Î L, а столбцы X, Y Î Kn пусть являются их изображениями в нашем базисе, т. е. эти столбцы составлены из координат этих векторов в данном базисе:

X = , Y = , x = x1a1 + x2a2 + … + xnan, y = y1a1 + y2a2 + … + ynan.

Тогда

l(x, y) = l(x1a1 + x2a2 + … + xnan, y) = xil(ai, y) = xil(ai, y1a1 + y2a2 + … + + ynan) = =xiyjl(ai, aj) = xiyjgij.

Но такой же результат получится в результате перемножения матриц:

XTGY = (G) ==

= (xigijyj) = (xiyjgij).

Таким образом, мы вывели формулу:

l(x, y) = XTGY.

Здесь надобно сделать одно замечание. Строго говоря, в последней (матричной) формуле результат есть не число, а квадратная матрица первого порядка, содержащая это число. Тем не менее, допуская известную вольность, будем всё же отождествлять такую матрицу с содержащимся в ней числом.