|
|
Большая Советская Энциклопедия (цитаты)
|
|
|
|
|
Наименьших квадратов метод | Наименьших квадратов метод (далее Н) один из методов ошибок теории для оценки неизвестных величин по результатам измерений, содержащим случайные ошибки. Н применяется также для приближенного представления заданной функции другими (более простыми) функциями и часто оказывается полезным при наблюдений обработке. Н предложен К. Гауссом (1794—95) и А. Лежандром (1805—06). Первоначально Н использовался для обработки результатов астрономических и геодезических наблюдений. Строгое математическое обоснование и установление границ содержательной применимости Н даны А. А. Марковым (старшим) и А. Н. Колмогоровым. Ныне Н представляет собой один из важнейших разделов математической статистики и широко используется для статистических выводов в различных областях науки и техники.
Сущность обоснования Н (по Гауссу) заключается в допущении, что "убыток" от замены точного (неизвестного) значения физической величины и ее приближенным значением X, вычисленным по результатам наблюдений, пропорционален квадрату ошибки: (X - m)2. В этих условиях оптимальной оценкой естественно признать такую лишенную систематической ошибки величину X, для которой среднее значение "убытка" минимально. Именно это требование и составляет основу Н В общем случае отыскание оптимальной в смысле Н оценки Х — задача весьма сложная, поэтому практически эту задачу сужают и в качестве Х выбирают линейную функцию от результатов наблюдений, лишенную систематической ошибки, и такую, для которой среднее значение "убытка" минимально в классе всех линейных функций. Если случайные ошибки наблюдений подчиняются нормальному распределению и оцениваемая величина m зависит от средних значений результатов наблюдений линейно (случай, весьма часто встречающийся в приложениях Н), то решение этой задачи будет одновременно являться и решением общей задачи. При этом оптимальная оценка Х также подчиняется нормальному распределению со средним значением m и, следовательно, плотность вероятности случайной величины Х
при х = Х достигает максимума в точке m = Х (это свойство и выражает точное содержание распространенного в теории ошибок утверждения "оценка X, вычисленная согласно Н, — наиболее вероятное значение неизвестного параметра m").
Случай одного неизвестного. Пусть для оценки значения неизвестной величины m произведено n независимых наблюдений, давших результаты 1, 2,..., n, т. е. 1 = m + d1, 2 = m + d2,..., n = m + dn, где d1, d2,..., dn — случайные ошибки (по определению, принятому в классической теории ошибок, случайные ошибки — независимые случайные величины с нулевым математическим ожиданием: Еdi = 0; если же Edi ¹ 0, то Еdi, называются систематическими ошибками). Согласно Н, в качестве оценки величины m принимают такое X, для которого будет наименьшей сумма квадратов (отсюда и само название метода):
где pi = k/si2 и si2 = Ddi = Edi2
(коэффициент k > 0 можно выбирать произвольно). Величину pi называют весом, a si — квадратичным отклонением измерения с номером i. В частности, если все измерения равноточны, то s1 = s2 =... = sn, и в этом случае можно положить p1 = p2 =... = pn = 1; если же каждое i, — арифметическое среднее из ni, равноточных измерений, то полагают pi = ni.
Сумма (X) будет наименьшей, если в качестве Х выбрать взвешенное среднее:
Оценка  величины m лишена систематической ошибки, имеет вес Р и дисперсию
В частности, если все измерения равноточны, то — арифметическое среднее результатов измерений:
При некоторых общих предположениях можно показать, что если количество наблюдений n достаточно велико, то распределение оценки  мало отличается от нормального с математическим ожиданием m и дисперсией k/. В этом случае абсолютная погрешность приближенного равенства
меньше
с вероятностью, близкой к значению интеграла
(напр., (1,96) = 0,950; (2,58) = 0,990; (3,00) = 0,997).
Если веса измерений pi заданы, а множитель k до наблюдений остается неопределенным, то этот множитель и дисперсия оценки  могут быть приближенно оценены по формулам:
и
(обе оценки лишены систематических ошибок).
В том практически важном случае, когда ошибки di подчиняются нормальному распределению, можно найти точное значение вероятности, с которой абсолютная погрешность приближенного равенства
окажется меньше ts (t — произвольное положительное число). Эту вероятность, как функцию от t, называют функцией распределения Стьюдента с n - 1 степенями свободы и вычисляют по формуле
где постоянная n-1 выбрана таким образом, чтобы выполнялось условие: n-1(¥) = 1. При больших n формулу (2) можно заменить формулой (1). Однако применение формулы (1) при небольших n привело бы к грубым ошибкам. Так, например, согласно (1), значению = 0,99 соответствует t = 2,58; истинные значения t, определяемые при малых n как решения соответствующих уравнений ln-1(t) = 0,99, приведены в таблице:
n
|
2
|
3
|
4
|
5
|
10
|
20
|
30
|
t
|
63,66
|
9,92
|
5,84
|
4,60
|
3,25
|
2,86
|
2,76
|
Пример. Для определения массы некоторого тела произведено 10 независимых равноточных взвешиваний, давших результаты i (в г):
i
|
18,41
|
18,42
|
18,43
|
18,44
|
18,45
|
18,46
|
ni
|
1
|
3
|
3
|
1
|
1
|
1
|
(здесь ni — число случаев, в которых наблюдался вес i, причем n = ni, = 10). Так как все взвешивания равноточные, то следует положить pi = ni и в качестве оценки для неизвестного веса m, выбрать величину
Задавая, например, 9 = 0,95, по таблицам распределения Стьюдента с девятью степенями свободы можно найти, что t = 2,262, и поэтому в качестве предельной абсолютной погрешности приближенного равенства m " 18,431 следует принять величину
Т. о. 18,420 < m < 18,442.
Случай нескольких неизвестных (линейные связи). Пусть n результатов измерений 1, 2,..., n связаны с m неизвестными величинами x1, x2,..., хm (m < n) независимыми линейными отношениями
где aij — известные коэффициенты, а di — независимые случайные ошибки измерений. Требуется оценить неизвестные величины xj (эту задачу можно рассматривать как обобщение предыдущей, в которой m = x1 и m = ai1 = 1; i = 1,2,..., n).
Так как Еdi = 0, то средние значения результатов измерений yi, = Eyi. связаны с неизвестными величинами x1, x2,..., хm линейными уравнениями (линейные связи):
Следовательно, искомые величины xj представляют собой решение системы (4), уравнения которой предполагаются совместными. Точные значения измеряемых величин yi и случайные ошибки di обычно неизвестны, поэтому вместо систем (3) и (4) принято записывать так называемые условные уравнения
Согласно Н, качестве оценок для неизвестных xj применяют такие величины Xj, для которых сумма квадратов отклонений
будет наименьшей (как и в предыдущем случае, pi — вес измерения i, — величина, обратно пропорциональная дисперсии случайной ошибки di). Условные уравнения, как правило, несовместны, т. е. при любых значениях Xj разности
не могут, вообще говоря, все обратиться в нуль, и в этом случае
также не может обратиться в нуль. Н предписывает в качестве оценок выбрать такие значения Xj, которые минимизируют сумму . В тех исключительных случаях, когда условные уравнения совместны и, значит, обладают решением, это решение совпадает с оценками, полученными согласно Н
Сумма квадратов представляет собой квадратичный многочлен относительно переменных Xj; этот многочлен достигает минимума при таких значениях X1, X2,..., Хm, при которых обращаются в нуль все первые частные производные:
Отсюда следует, что оценки Xj, полученные согласно Н, должны удовлетворять системе так называемых нормальных уравнений, которая в обозначениях, предложенных Гауссом, имеет вид:
где
Оценки Xj, получающиеся в результате решения системы нормальных уравнений, лишены систематических ошибок (Exj = xj); дисперсии Dxj; величин Xj равны kdjj/d, где d — определитель системы (5), а djj — минор, соответствующий диагональному элементу (раjaj) (иными словами, djj/d — вес оценки Xj). Если множитель пропорциональности k (k называется дисперсией на единицу веса) заранее неизвестен, то для его оценки, а также для оценки дисперсии Dxj служат формулы:
k " /(n - m) и Dxj " s2j = Sdjj/d (n - m)
( — минимальное значение исходной суммы квадратов). При некоторых общих предположениях можно показать, что если количество наблюдений n достаточно велико, то абсолютная погрешность приближенного равенства xi " Xj меньше tsj с вероятностью, близкой к значению интеграла (1). Если случайные ошибки наблюдений di подчиняются нормальному распределению, то все отношения (Xj - xj)/sj распределены по закону Стьюдента с n - m степенями свободы (точная оценка абсолютной погрешности приближенного равенства производится здесь с помощью интеграла (2) так же, как в случае одного неизвестного). Кроме того, минимальное значение суммы в вероятностном смысле не зависит от X1, X2,..., Xm и поэтому приближенные значения дисперсий оценок Dxj " s2j не зависят от самих оценок Xj.
Один из наиболее типичных случаев применения Н — "выравнивание" таких результатов наблюдений i, для которых в уравнениях (3) aij = aj (ti), где aj (t) — известные функции некоторого параметра t (если t — время, то t1, t2,... — те моменты времени, в которые производились наблюдения). Особенно часто встречается в приложениях случай так называемой параболической интерполяции, когда aj (t) — многочлены (например, a1(t) = 1, a2(t) = t, a3(t) = t2,... и т.д.); если t2 — t1 = t3 — t2 =... = tn — tn-1, a наблюдения равноточные, то для вычисления оценок Xj можно воспользоваться таблицами ортогональных многочленов, имеющимися во многих руководствах по современной вычислительной математике. Другой важный для приложения случай — так называемая гармоническая интерполяция, когда в качестве aj (t) выбирают тригонометрические функции (например, aj (t) = cos (j - 1) t, j = 1, 2,..., m).
Пример. Для оценки точности одного из методов анализа этим методом определялась концентрация в десяти эталонных пробах заранее известного состава. Результаты равноточных наблюдений указаны в таблице (i — номер эксперимента, ti — истинная концентрация , Ti — концентрация . определенная в результате анализа, i = Ti - ti — ошибка анализа):
i
|
1
|
2
|
3
|
4
|
5
|
6
|
7
|
8
|
9
|
10
|
ti
|
4
|
8
|
12,5
|
16
|
20
|
25
|
31
|
36
|
40
|
40
|
i
|
- 0,3
|
- 0,2
|
- 0,4
|
- 0,4
|
- 0,2
|
- 0,5
|
+ 0,1
|
- 0,5
|
-0,6
|
-0,5
|
Если результаты анализа не имеют систематических ошибок, то Eyi = 0. Если же такие ошибки имеются, то в первом приближении их можно представить в виде: Eyi = a + bti (a называется постоянной ошибкой, а bti — методической ошибкой) или, что то же самое,
где
Для отыскания оценок a и b достаточно оценить коэффициенты
Условные уравнения в данном случае имеют вид:
поэтому ai1 = 1, ai2 = ti - t (согласно предположению о равноточности наблюдений, все pi = 1). Так как
то система нормальных уравнений записывается особенно просто:
(a1a1) X1 = (Ya1); (a2a2) X2 = (Ya2),
где
Дисперсии компонент решения этой системы суть
где k — неизвестная дисперсия на единицу веса (в данном случае k — дисперсия любой из величин i). Так как в этом примере компоненты решения принимают значения X1 = -0,35 и X2 = -0,00524, то
Dx1 " s12 = 0,00427,
Dx2 " s22 = 0,0000272,
s1 = 0,065, s2 = 0,00522.
Если случайные ошибки наблюдений подчиняются нормальному распределению, то отношения |Xj – xjl/sj (j = 1, 2) распределены по закону Стьюдента. В частности, если результаты наблюдений лишены систематических ошибок, то x1 = x2 = 0 и, значит, закону Стьюдента должны подчиняться отношения |X1|/s1 и |X2|/s2. С помощью таблиц распределения Стьюдента с n – m = 8 степенями свободы можно убедиться, что если действительно x1 = x2 = 0, то с вероятностью 0,999 каждое из этих отношений не должно превосходить 5,04 и с вероятностью 0,95 не должно превосходить 2,31. В данном случае |X1|/s1 = 5,38 > 5,04, поэтому гипотезу отсутствия систематических ошибок целесообразно отвергнуть; в то же время следует признать, что гипотеза об отсутствии методической ошибки (x2 = 0) не противоречит результатам наблюдений, так как |X2|/s2 = 1,004 < 2,31. Т. о., можно заключить, что для определения t по результату наблюдения Т целесообразно пользоваться приближенной формулой t = Т + 0,35.
Во многих практически важных случаях (и в частности, при оценке сложных нелинейных связей) количество неизвестных параметров бывает весьма большим и поэтому реализация Н оказывается эффективной лишь при использовании современной вычислительной техники.
Лит.: Марков А. А., Исчисление вероятностей, 4 изд., М., 1924; Колмогоров А. Н., К обоснованию метода наименьших квадратов, "Успехи математических наук", 1946, т. 1, в. 1; Линник Ю. В., Метод наименьших квадратов и основы математико-статистической теории обработки наблюдений, 2 изд., М., 1962; Helmert . R., Die Ausgieichungsrechnung nach der Methode der kleinsten Quadrate..., 2 Aufl., Lpz., 1907.
Л. Н. Большев.
|
Для поиска, наберите искомое слово (или его часть) в поле поиска
|
|
 |
 |
 |
|
