Метод наименьших квадратов

метки: Коэффициент, Уравнение, Значение, Величина, Метод, Переменный, Вектор, Неизвестный

Метод наименьших квадратов — один из методов регрессионного анализа для оценки неизвестных величин по результатам измерений, содержащим случайные ошибки.

Метод наименьших квадратов применяется также для приближённого представления заданной функции другими (более простыми) функциями и часто оказывается полезным при обработке наблюдений.

Когда искомая величина может быть измерена непосредственно, как, например, длина отрезка или угол, то, для увеличения точности, измерение производится много раз, и за окончательный результат берут арифметическое среднее из всех отдельных измерений. Это правило арифметической середины основывается на соображениях теории вероятностей; легко показать, что сумма квадратов уклонений отдельных измерений от арифметической середины будет меньше, чем сумма квадратов уклонений отдельных измерений от какой бы то ни было другой величины. Само правило арифметической середины представляет, следовательно, простейший случай метода наименьших квадратов.

1. История

До начала XIX в. учёные не имели опредёленных правил для решения системы уравнений, в которой число неизвестных менее числа уравнений; до этого времени употреблялись частные приёмы, зависевшие от вида уравнений и от остроумия вычислителей, и потому разные вычислители, исходя из тех же данных наблюдений, приходили к различным выводам. Лежандру (1805—06) и Гауссу (1794—95) принадлежит первое применение к решению указанной системы уравнений теории вероятности, исходя из начал, аналогичных с началом арифметической середины, уже издавна и, так сказать, бессознательно применяемых к выводам результатов в простейшем случае многократных измерений. Как и в случае арифметической середины, вновь изобретённый способ не даёт, конечно, истинных значений искомых, но даёт зато вероятнейшие значения. Этот способ распространён и усовершенствован дальнейшими изысканиями Лапласа, Энке, Бесселя, Ганзена и др. и получил название метода наименьших квадратов, потому что после подстановки в начальные уравнения неизвестных величин, выведенных этим способом, в правых частях уравнений получаются если и не нули, то небольшие величины, сумма квадратов которых оказывается меньшей, чем сумма квадратов подобных же остатков, после подстановки каких бы то ни было других значений неизвестных. Помимо этого, решение уравнений по способу наименьших квадратов даёт возможность выводить вероятные ошибки неизвестных, то есть даёт величины, по которым судят о степени точности выводов.

Системы эконометрических уравнений

... уравнений; Сущность проблемы идентифицируемости; Особенности системы линейных одновременных эконометрических уравнений; Методы наименьших квадратов; Применение эконометрических уравнений. 1СИСТЕМА УРАВНЕНИЙ, ИСПОЛЬЗУЕМЫХ В ЭКОНОМЕТРИКЕ. ... выступающих в качестве факторных переменных. Процесс идентификации осуществляется следующим образом: 1. Идентифицируется уравнение, в котором в качестве ...

2. Постановка задачи

Задача метода наименьших квадратов состоит в выборе вектора , минимизирующего ошибку

Эта ошибка есть расстояние от вектора до вектора . Вектор лежит в простанстве столбцов матрицы , так как есть линейная комбинация столбцов этой матрицы с коэффициентами . Отыскание решения по методу наименьших квадратов эквивалентно задаче отыскания такой точки , которая лежит ближе всего к и находится при этом в пространстве столбцов матрицы . Таким образом, вектор должен быть проекцией на пространство столбцов и вектор невязки должен быть ортогонален этому пространству. Ортогональность состоит в том, что каждый вектор в пространстве столбцов есть линейная комбинация столбцов с некоторыми коэффициентами , то есть это вектор . Для всех в пространстве , эти векторы должны быть перпендикулярны невязке :

Так как это равенство должно быть справедливо для произвольного вектора , то

решение по методу наименьших квадратов несовместной системы , состоящей из уравнений с неизвестными, есть уравнение

которое называется нормальным уравнением. Если столбцы матрицы линейно независимы, то матрица обратима и единственное решение

Проекция вектора на пространство столбцов матрицы имеет вид

Матрица

называется матрицей проектирования вектора на пространство столбцов матрицы . Эта матрица имеет два основных свойства: она идемпотентна, , и симметрична, . Обратное также верно: матрица, обладающая этими двумя свойствами есть матрица проектирования на свое пространство столбцов.

3. Примеры

Пусть надо решить систему уравнений

метод наименьший квадрат

(1)

число которых более числа неизвестных x, y,

Чтобы решить их по способу наименьших квадратов, составляют новую систему уравнений, число которых равно числу неизвестных и которые затем решаются по обыкновенным правилам алгебры. Эти новые, или так называемые нормальные уравнения составляются по следующему правилу: умножают сперва все данные уравнения на коэффициенты у первой неизвестной x и, сложив почленно, получают первое нормальное уравнение, умножают все данные уравнения на коэффициенты у второй неизвестной y и, сложив почленно, получают второе нормальное уравнение и т. д. Если означить для краткости:

то нормальные уравнения представятся в следующем простом виде:

(2)

Легко заметить, что коэффициенты нормальных уравнений весьма легко составляются из коэффициентов данных, и притом коэффициент у первой неизвестной во втором уравнении равен коэффициенту у второй неизвестной в первом, коэффициент у первой неизвестной в третьем уравнении равен коэффициенту у третьей неизвестной в первом и т. д. Для пояснения сказанного ниже приведено решение пяти уравнений с двумя неизвестными:

Составив значения [aa], [ab], получаем следующие нормальные уравнения:

• x = 3,55;

y = ? 0,109

Уравнения (1) представляют систему линейных уравнений, то есть уравнений, в которых все неизвестные входят в первой степени. В большинстве случаев уравнения, связывающие наблюдаемые и искомые величины, бывают высших степеней и даже трансцендентные, но это не изменяет сущности дела: предварительными изысканиями всегда можно найти величины искомых с таким приближением, что затем, разложив соответствующие функции в ряды и пренебрегая высшими степенями искомых поправок, можно привести любое уравнение к линейному.

Анализ регрессии в изучении экономических проблем

... уравнение регрессии. Эмпирическое уравнение регрессии представим в виде: Y = b0 + b1X1 + b2X2 + ... + bmXm+ е. (2.6) Здесь b0, b1, ..., bm − оценки теоретических значений β1, β2, ..., βm коэффициентов регрессии (эмпирические коэффициенты регрессии); ... распространенным методом оценки параметров уравнения множественной линейной регрессии является метод наименьших квадратов (МНК). Напомним, что его ...

Строгое обоснование и установление границ содержательной применимости метода даны А. А. Марковым и А. Н. Колмогоровым.

4. Свойства оценок на основе МНК

Возможны разные виды уравнений множественной регрессии: линейные и нелинейные.

Ввиду четкой интерпретации параметров наиболее широко используется линейная функция. В линейной множественной регрессии

параметры при называются коэффициентами «чистой» регрессии. Они характеризуют среднее изменение результата с изменением соответствующего фактора на единицу при неизмененном значении других факторов, закрепленных на среднем уровне.

Рассмотрим линейную модель множественной регрессии

• (2.1)

Классический подход к оцениванию параметров линейной модели множественной регрессии основан на методе наименьших квадратов (МНК).

МНК позволяет получить такие оценки параметров, при которых сумма квадратов отклонений фактических значений результативного признака от расчетных минимальна:

• (2.2)

Как известно из курса математического анализа, для того чтобы найти экстремум функции нескольких переменных, надо вычислить частные производные первого порядка по каждому из параметров и приравнять их к нулю.

Имеем функцию аргумента:

Находим частные производные первого порядка:

После элементарных преобразований приходим к системе линейных нормальных уравнений для нахождения параметров линейного уравнения множественной регрессии (2.1):

(2.3)

Для двухфакторной модели данная система будет иметь вид:

Метод наименьших квадратов применим и к уравнению множественной регрессии в стандартизированном масштабе:

(2.4)

где — стандартизированные переменные:

• для которых среднее значение равно нулю: , а среднее квадратическое отклонение равно единице: ;
• стандартизированные коэффициенты регрессии.

Стандартизованные коэффициенты регрессии показывают, на сколько единиц изменится в среднем результат, если соответствующий фактор изменится на одну единицу при неизменном среднем уровне других факторов. В силу того, что все переменные заданы как центрированные и нормированные, стандартизованные коэффициенты регрессии можно сравнивать между собой. Сравнивая их друг с другом, можно ранжировать факторы по силе их воздействия на результат. В этом основное достоинство стандартизованных коэффициентов регрессии в отличие от коэффициентов «чистой» регрессии, которые несравнимы между собой.

Применяя МНК к уравнению множественной регрессии в стандартизированном масштабе, получим систему нормальных уравнений вида

(2.5)

где и — коэффициенты парной и межфакторной корреляции.

Коэффициенты «чистой» регрессии связаны со стандартизованными коэффициентами регрессии следующим образом:

• (2.6)

Поэтому можно переходить от уравнения регрессии в стандартизованном масштабе (2.4) к уравнению регрессии в натуральном масштабе переменных (2.1), при этом параметр определяется как

Рассмотренный смысл стандартизованных коэффициентов регрессии позволяет их использовать при отсеве факторов — из модели исключаются факторы с наименьшим значением .

Алгоритм обобщенной множественной линейной регрессии и его реализация

... оценок параметров можно определить с помощью обратной матрицы . 2 ОБОБЩЕННАЯ ЛИНЕЙНАЯ МОДЕЛЬ МНОЖЕСТВЕННОЙ РЕГРЕССИИ 2.1 Обобщенная линейная модель множественной регрессии при известной ковариационной матрице регрессионных остатков В эмпирических социально-экономических ... Возмущения и (или переменные и ) некоррелированы (независимы) для различных наблюдений: 5. Случайная составляющая и объясняющие ...

На основе линейного уравнения множественной регрессии

(2.7)

могут быть найдены частные уравнения регрессии:

(2.8)

т.е. уравнения регрессии, которые связывают результативный признак с соответствующим фактором при закреплении остальных факторов на среднем уровне. В развернутом виде систему (2.8) можно переписать в виде:

При подстановке в эти уравнения средних значений соответствующих факторов они принимают вид парных уравнений линейной регрессии, т.е. имеем

(2.9)

Где

В отличие от парной регрессии частные уравнения регрессии характеризуют изолированное влияние фактора на результат, ибо другие факторы закреплены на неизменном уровне. Эффекты влияния других факторов присоединены в них к свободному члену уравнения множественной регрессии. Это позволяет на основе частных уравнений регрессии определять частные коэффициенты эластичности:

, (2.10)

где — коэффициент регрессии для фактора в уравнении множественной регрессии,

частное уравнение регрессии.

Наряду с частными коэффициентами эластичности могут быть найдены средние по совокупности показатели эластичности:

, (2.11)

которые показывают на сколько процентов в среднем изменится результат, при изменении соответствующего фактора на 1%. Средние показатели эластичности можно сравнивать друг с другом и соответственно ранжировать факторы по силе их воздействия на результат.

5. Парная линейная регрессия. Метод наименьших квадратов

Рис. 1

На рисунке изображены три ситуации:

• на графике (а) взаимосвязь х и у близка к линейной;
• прямая линия (1) здесь близка к точкам наблюдений, и последние отклоняются от нее лишь в результате сравнительно небольших случайных воздействий;

• на графике (b) реальная взаимосвязь величин х и у описывается нелинейной функцией (2), и какую бы мы ни провели прямую линию (например, 1), отклонения точек наблюдений от нее будут существенными и неслучайными;

• на графике (с) явная взаимосвязь между переменными х и у отсутствует;
• какую бы мы ни выбрали формулу связи, результаты ее параметризации будут здесь неудачными. В частности, прямые линии 1 и 2, проведенные через «центр» «облака» точек наблюдений и имеющие противоположный наклон, одинаково плохи для того, чтобы делать выводы об ожидаемых значениях переменной у по значениям переменной х.

Начальным пунктом эконометрического анализа зависимостей обычно является оценка линейной зависимости переменных. Если имеется некоторое «облако» точек наблюдений, через него всегда можно попытаться провести такую прямую линию, которая является наилучшей в определенном смысле среди всех прямых линий, то есть «ближайшей» к точкам наблюдений по их совокупности. Для этого мы вначале должны определить понятие близости прямой к некоторому множеству точек на плоскости; меры такой близости могут быть различными. Однако любая разумная мера должна быть, очевидно, связана с расстояниями от точек наблюдений до рассматриваемой прямой линии (задаваемой уравнением у= а + bх).

Обычно в качестве критерия близости используется минимум суммы квадратов разностей наблюдений зависимой переменной у и теоретических, рассчитанных по уравнению регрессии значений (а + bхi):

Линейная регрессия и корреляция: смысл и оценка параметров

... оценки зависимости в виде функции регрессии. Вычисленные оценки u значений переменной u и называются остатками. Избранная функция регрессии должна отображать экономическую закономерность, поэтому перед построением функции регрессии ... первом этапе по каждому одномерному параметру отдельно, а ... эконометрики - теория и практика экспертных оценок. Экспертные оценки ... показывает номер наблюдения. Значения y i ...

Q = ei2 = (yi-(a+bxi))2 min (1)

считается, что у и х — известные данные наблюдений, а и b — неизвестные параметры линии регрессии. Поскольку функция Q непрерывна, выпукла и ограничена снизу нулем, она имеет минимум. Для соответствующих точке этого минимума значений а и b могут быть найдены простые и удобные формулы (они будут приведены ниже).

Метод оценивания параметров линейной регрессии, минимизирующий сумму квадратов отклонений наблюдений зависимой переменной от искомой линейной функции, называется Методом наименьших квадратов (МНК), или Least Squares Method (LS).

«Наилучшая» по МНК прямая линия всегда существует, но даже наилучшая не всегда является достаточно хорошей. Если в действительности зависимость y=f(х) является, например, квадратичной (как на рисунке 1(b)), то ее не сможет адекватно описать никакая линейная функция, хотя среди всех таких функций обязательно найдется «наилучшая». Если величины х и у вообще не связаны (рис. 1 (с)), мы также всегда сможем найти «наилучшую» линейную функцию у = а+bх для данной совокупности наблюдений, но в этом случае конкретные значения а и b определяются только случайными отклонениями переменных и сами будут очень сильно меняться для различных выборок из одной и той же генеральной совокупности. Возможно, на рис. 1(с) прямая 1 является наилучшей среди всех прямых линий (в смысле минимального значения функции Q), но любая другая прямая, проходящая через центральную точку «облака» (например, линия 2), ненамного в этом смысле хуже, чем прямая 1, и может стать наилучшей в результате небольшого изменения выборки.

Рассмотрим теперь задачу оценки коэффициентов парной линейной регрессии более формально. Предположим, что связь между х и у линейна: у = +х. Здесь имеется в виду связь между всеми возможными значениями величин х и у, то есть для генеральной совокупности. Наличие случайных отклонений, вызванных воздействием на переменную у множества других, неучтенных в нашем уравнении факторов и ошибок измерения, приведет к тому, что связь наблюдаемых величин xi и yi приобретет вид уi=+хi+єi,. Здесь єi. — случайные ошибки (отклонения, возмущения).

Задача состоит в следующем: по имеющимся данным наблюдений {xi}, {уi} оценить значения параметров айв, обеспечивающие минимум величины Q. Если бы были известны точные значения отклонений єi, то можно было бы (в случае правильности предполагаемой линейной формулы) рассчитать значения параметров и . Однако значения случайных отклонений в выборке неизвестны, и по наблюдениям xi и уi можно получить оценки параметров с и р, которые сами являются случайными величинами, поскольку соответствуют случайной выборке. Пусть а — оценка параметра , b — оценка параметра . Тогда оцененное уравнение регрессии будет иметь вид:

Функции регионального бюджета. Методы формирования регионального бюджета

... регионального бюджета; 2. Выявлены функции регионального бюджета и методы формирования регионального бюджета; 3. Определена роль и место бюджета в экономики региона Формирование ... «позитивная динамика параметров уровня и ... оценка, позволяет сделать выводы об достигнутом уровне и динамики изменения указанных категорий. 1. Понятие и сущность регионального бюджета Формирование и использование региональных ...

yi=а+bxi+еi,

где еi — наблюдаемые значения ошибок єi.

Для оценки параметров и воспользуемся МНК, который минимизирует сумму квадратов отклонений фактических значений уi от расчетных. Минимум ищется по переменным а и b.

Для того, чтобы полученные МНК оценки а и b обладали желательными свойствами, сделаем следующие предпосылки об отклонениях єi:

1) величина єi является случайной переменной;

2) математическое ожидание єi равно нулю: М (єi) = 0;

3) дисперсия є постоянна: D(єi) = D(єi) = 2 для всех i, j;

4) значения єi независимы между собой. Откуда вытекает, в частности, что

(2)

Известно, что, если условия 1)-4) выполняются, то оценки, сделанные с помощью МНК, обладают следующими свойствами:

1) Оценки являются несмещенными, т.е. математическое ожидание оценки каждого параметра равно его истинному значению: М(а) =; М(b)=. Это вытекает из того, что М(єi) = 0, и говорит об отсутствии систематической ошибки в определении положения линии регрессии.

2) Оценки состоятельны, так как дисперсия оценок параметров при возрастании числа наблюдений стремится к нулю:

; .

Иначе говоря, если п достаточно велико, то практически наверняка а близко к , а b близко к : надежность оценки при увеличении выборки растет.

3) Оценки эффективны, они имеют наименьшую дисперсию по сравнению с любыми другими оценками данного параметра, линейными относительно величин уi . В англоязычной литературе такие оценки называются BLUE (Best Linear Unbiased Estimators — наилучшие линейные несмещенные оценки).

Перечисленные свойства не зависят от конкретного вида распределения величин єi, тем не менее, обычно предполагается, что они распределены нормально N(0;y2).

Эта предпосылка необходима для проверки статистической значимости сделанных оценок и определения для них доверительных интервалов. При ее выполнении оценки МНК имеют наименьшую дисперсию не только среди линейных, но среди всех несмещенных оценок.

Если предположения 3) и 4) нарушены, то есть дисперсия возмущений непостоянна и/или значения є. связаны друг с другом, то свойства несмещенности и состоятельности сохраняются, но свойство эффективности — нет.

Рассмотрим теперь процедуру оценивания параметров парной линейной регрессии а и b. Для того, чтобы функция Q = ei2 = (yi-(a+bxi))2 достигала минимума, необходимо равенство нулю ее частных производных:

(3) (4)

Если уравнение (3) разделить на n, то получим у=а+bх (здесь

средние значения х и у).

Таким образом, линия регрессии проходит через точку со средними значениями х и у. Подставив величину а из (3) в (4), получаем

Откуда

(5) (6)

Иначе можно записать, что

(где r коэффициент корреляции х и у).

Таким образом, коэффициент регрессии пропорционален показателю ковариации и коэффициенту корреляции х и у, а коэффициенты этой пропорциональности служат для соизмерения перечисленных разноразмерных величин. Оценки a и b, очевидно, являются линейными относительно yi (если xi считать коэффициентами) — выше об этом упоминалось.

Функции и методы инновационного менеджмента

... -производственно-сбытовой цепи. 1. Функции и методы инновационного менеджмента 1.1.Особенности функций и методов инновационного менеджмента Цели, характер и содержание инновационной деятельности оп­ределяют особенности и значительное отличие инновационного менеджмента от его традиционных видов. Целью инновационного развития любых инновационных систем разного уровня ...

Итак, если коэффициент r уже рассчитан, то легко рассчитать коэффициент парной регрессии, не решая системы уравнений. Ясно также, что если рассчитаны линейные регрессии х(у) и у(х), то произведение коэффициентов dx и by, равно r2:

(7)[1]

6. Нелинейная регрессия

На практике часто встречается ситуация, когда априорно известен нелинейный характер зависимости между объясняемыми и объясняющими переменными. В этом случае функция f в уравнении у=(а,х) нелинейна (а — вектор параметров функции, которые нам нужно оценить).

Например, вид зависимости между ценой и количеством товара в той же модели спроса и предложения: она не всегда предполагается линейной, как в нашем примере. Нелинейную функцию можно преобразовать в линейную, как это было сделано, например, логарифмированием с функцией Кобба-Дугласа. Однако не все функции поддаются такой непосредственной линеаризации. Любую дифференцируемую нужное число раз функцию можно разложить в функциональный ряд и затем оценить регрессию объясняемой переменной с членами этого ряда. Тем не менее такое разложение всегда осуществляется в окрестности определенной точки, и лишь в этой окрестности достаточно точно аппроксимирует оцениваемую функцию. В то же время оценить зависимость требуется обычно на более или менее значительном интервале, а не только в окрестности некоторой точки. При линеаризации функции или разложении её в ряд с целью оценки регрессии возникают и другие проблемы: искажение отклонений ей нарушение их первоначальных свойств, статистическая зависимость членов ряда между собой. Например, если оценивается формула

полученная путем линеаризации или разложения в ряд, то независимые переменные х и х2 связаны между собой даже не статистически, но функционально. Если исходная ошибка е здесь связана с переменной х, то добавление х2 приводит к появлению (с соответствующими коэффициентами) квадрата этой переменной и её удвоенного произведения с х, что искажает исходные предпосылки модели. Поэтому во многих случаях актуальна непосредственная оценка нелинейной формулы регрессии. Для этого можно воспользоваться нелинейным МНК. Идея МНК основана на том, чтобы минимизировать сумму квадратов отклонений расчетных значений от эмпирических, т.е. нужно оценить параметры о функции f(a,x) таким образом, чтобы ошибки еi= уi-f(а,х), точнее — их квадраты, по совокупности были минимальными. Для этого нужно решить задачу минимизации

(4.1)

Для решения этой задачи существует два пути. Во-первых, может быть осуществлена непосредственная минимизация функции F с помощью методов нелинейной оптимизации, позволяющих находить экстремумы выпуклых линий. Это, например, метод наискорейшего спуска, при использовании которого в некоторой исходной точке определяется антиградиент (направление наиболее быстрого убывания) функции F. Далее находится минимум F при движении в данном направлении, и в точке этого минимума снова определяется градиент. Процедура повторяется до тех пор, пока разница значений f на двух последовательных шагах не окажется меньше заданной малой величины. Другой путь состоит в решении системы нелинейных уравнений, которая получается из необходимых условий экстремума функции F. Эти условия — равенство нулю частных производных функции F по каждому из параметров аj., т.е.

Faj = 0,

j =1,..,m.

Получается система уравнений

Экономические функции и методы социальной работы

... экономическую сущность и значение социальной работы; рассмотреть основные экономические методы социальной работы; описать принципы экономики социальной работы; определить экономическое пространство социальной работы и оценить перспективы ее развития. Экономическая сущность и функция социальной работы Экономическая функция социальной работы выражается в деятельности ...

• 2(yi-f(a,xi))*fai'(a,xi) = 0, j = 1,..,m(4.2)

нелинейность которой обусловлена нелинейностью функции f относительно параметров аj. Эта система уравнений может быть решена итерационными методами (когда последовательно находятся векторы параметров, все в меньшей степени нарушающие уравнения системы).

Однако в общем случае решение такой системы не является более простым способом нахождения вектора а, чем непосредственная оптимизация методом наискорейшего спуска.

Существуют методы оценивания нелинейной регрессии, сочетающие непосредственную оптимизацию, использующую нахождение градиента, с разложением в функциональный ряд (ряд Тейлора) для последующей оценки линейной регрессии. Наиболее известен из них метод Марквардта, сочетающий в себе достоинства каждого из двух используемых методов.

При построении нелинейных уравнений более остро, чем в линейном случае, стоит проблема правильной оценки формы зависимости между переменными. Неточности при выборе формы оцениваемой функции существенно сказываются на качестве отдельных параметров уравнений регрессии и, соответственно, на адекватности всей модели в целом.[1]

Заключение

Информация, представленная в настоящем реферате, может стать основой для дальнейшей проработки и усовершенствования приведенных статистических методов. По каждому из описанных методов может быть предложена задача построения соответствующих алгоритмов. По разработанным алгоритмам в дальнейшем возможна разработка программных продуктов для практического использования методов в аналитических, исследовательских, коммерческих и других областях.

Наиболее полная информация приведена по применению скользящих средних. В работе описывается лишь малая часть имеющихся в настоящее время методов для исследования и обработки различных видов статистической информации. Здесь представлен краткий и поверхностный обзор некоторых методов, исходя из незначительного объёма настоящей работы.

Список литературы

О.О. Замков, А.В. Толстопятенко, Р.Н. Черемных Взвешенный метод наименьших квадратов Взвешенный метод наименьших квадратов Математические методы в экономике. — М.: Дис, 1997.

Анна Эрлих Технический анализ товарных и финансовых рынков. — М.: ИНФРА, 1996.

Я.Б. Шор Статистические методы анализа и контроля качества и надёжности. — М.: Советское радио, 1962.

В.С. Пугачёв Теория вероятностей и математическая статистика. — М.: Наука, 1979. — 394 с.

Стренг Г. Линейная алгебра и ее применения. М.: Мир. 1980.

Каханер Д., Моулер К., Нэш С. Численные методы и программное обеспечение. М.: Мир. 1998.

Стрижов В. В. Методы индуктивного порождения регрессионных моделей. М.: ВЦ РАН. 2008. 55 с. Брошюра, PDF.