Множественная регрессия и корреляция

метки: Фактор, Коэффициент, Уравнение, Модель, Доход, Приходить, Детерминация, Частное

Введение

Эконометрика — это наука, которая изучает статистические закономерности в экономике.

Объектом изучения эконометрики, как самостоятельного раздела математической экономики, являются экономико-математические модели, которые строятся с учетом случайных факторов. Такие модели называются эконометрическими моделями. Исследование эконометрических моделей проводится на основе статистических данных об изучаемом объекте и с помощью методов математической статистики.

Основными задачами эконометрики являются: получение наилучших оценок параметров экономико-математических моделей, конструируемых в прикладных целях; проверка теоретико-экономических положений и выводов на фактическом (эмпирическом) материале; создание универсальных и специальных методов для обнаружения статистических закономерностей в экономике.

Актуальность проблемы: парная регрессия может дать хороший результат при моделировании, если влиянием других факторов, воздействующих на объект исследования, можно пренебречь. Например, при построении модели зависимости потребления того или иного товара от дохода исследователь предполагает, что в каждой группе дохода одинаково влияние на потребление таких факторов, как цена товара, размер семьи, ее состав.

Вместе с тем исследователь никогда не может быть уверен в справедливости данного предположения. Например, для того чтобы иметь правильное представление о влиянии дохода на потребление, необходимо изучить их корреляцию при неизменном уровне других факторов. Прямой путь решения такой задачи состоит в отборе единиц совокупности с одинаковыми значениями всех других факторов, кроме дохода. Он приводит к планированию эксперимента — методу, который используется в химических, физических, биологических исследованиях.

уравнение множественной регрессии

Множественная регрессия, Задачами работы являются:

• изучение построения уравнения множественной регрессии;
• изучение множественной корреляциии
• включение факторов в уравнение множественной регрессии
• проверка качества построенной модели
• оценка мультиколлинеарности факторов
• оценка гетероскедастичности
• рассмотрение изучаемой темы на практических примерах

Объект исследования: эконометрические исследования., Предмет исследования: множественная регрессия и корреляция в экономических исследованиях

Методы:

Алгоритм обобщенной множественной линейной регрессии и его реализация

... вектор b оценок параметров можно определить с помощью обратной матрицы . 2 ОБОБЩЕННАЯ ЛИНЕЙНАЯ МОДЕЛЬ МНОЖЕСТВЕННОЙ РЕГРЕССИИ 2.1 Обобщенная линейная модель множественной регрессии при известной ковариационной матрице регрессионных остатков В эмпирических социально-экономических исследованиях зачастую ...

• теоретическое изучение материала;
• практическое применение изученного материала в экономических исследованиях.

1. Множественная регрессия

Множественная регрессия – уравнение связи с несколькими независимыми переменными:

где — зависимая переменная (результативный признак);

• независимые переменные (факторы).

Для построения уравнения множественной регрессии чаще используются следующие функции ² :

линейная –

степенная –

экспонента –

гипербола — .

Можно использовать и другие функции, приводимые к линейному виду.

Для оценки параметров уравнения множественной регрессии применяют метод наименьших квадратов (МНК).

Для линейных уравнений и нелинейных уравнений, приводимых к линейным, строится следующая система нормальных уравнений, решение которой позволяет получить оценки параметров регрессии:

Для ее решения может быть применен метод определителей:

, ,…, ,

где — определитель системы;

— частные определители; которые получаются путем замены соответствующего столбца матрицы определителя системы данными левой части системы.

Другой вид уравнения множественной регрессии – уравнение регрессии в стандартизированном масштабе:

где — стандартизированные переменные;

• стандартизированные коэффициенты регрессии.

К уравнению множественной регрессии в стандартизированном масштабе применим МНК. Стандартизированные коэффициенты регрессии (- коэффициенты) определяются из следующей системы уравнений:

Связь коэффициентов множественной регрессии со стандартизированными коэффициентами описывается соотношением

Параметр определяется как ., Средние коэффициенты эластичности для линейной регрессии рассчитываются по формуле, Для расчета частных коэффициентов эластичности применяется следующая формула: ³

2. Множественная корреляция

Тесноту совместного влияния факторов на результат оценивает индекс множественной корреляции:

Значение индекса множественной корреляции лежит в пределах от 0 до 1 и должно быть больше или равно максимальному парному индексу корреляции:⁴

Индекс множественной корреляции для уравнения в стандартизированном масштабе можно записать в виде

При линейной зависимости коэффициент множественной корреляции можно определить через матрицу парных коэффициентов корреляции:

• определитель матрицы парных коэффициентов корреляции;
• определитель матрицы межфакторной корреляции.

Частные коэффициенты (или индексы) корреляции, измеряющие влияние на y фактора при неизменном уровне других факторов, можно определить по формуле:

Линейная регрессия и корреляция: смысл и оценка параметров

... очередей). Другой важный раздел эконометрики - теория и практика ... идентификацию модели), так и коэффициенты, входящие в эту зависимость. ... С помощью функции регрессии количественно оценивается усредненная ... экономисты выявляют существенные факторы, определяющие исследуемое явление ... по каждому одномерному параметру отдельно, а затем - с помощью некоторой линейной эконометрической системы уравнений, ...

или по рекуррентной формуле:

Частные коэффициенты корреляции изменяются в пределах от –1 до 1. ⁵

3. Включение факторов в уравнение множественной регрессии

Включение в уравнение множественной регрессии того или иного набора факторов связано, прежде всего, с представлением исследователя о природе взаимосвязи моделируемого показателя с другими экономическими явлениями. Факторы , включаемые во множественную регрессию, должны отвечать следующим требованиям⁶ : Если между факторами существует высокая корреляция, то нельзя определить их изолированное влияние на результативный показатель и параметры уравнения регрессии оказываются неинтерпретируемыми .

Включаемые во множественную регрессию факторы должны объяснить вариацию независимой переменной. Если строится модель с набором р -факторов, то для нее рассчитывается показатель детерминации R ² , который фиксирует долю объясненной вариации результативного признака за счет рассматриваемых в регрессии р -факторов. Влияние других, неучтенных в модели факторов, оценивается как 1 — R ² с соответствующей остаточной дисперсией S ² .

При дополнительном включении в регрессию фактора (р + 1) коэффициент детерминации должен возрастать, а остаточная дисперсия уменьшаться:

и (5.2)

Если же этого не происходит и данные показатели практически мало отличаются друг от друга, то включаемый в анализ фактор x _p + 1 не улучшает модель и практически является лишним фактором. Насыщение модели лишними факторами не только не снижает величину остаточной дисперсии и не увеличивает показатель детерминации, но и приводит к статистической незначимости параметров регрессии по t-критерию Стьюдента.

Таким образом, хотя теоретически регрессионная модель позволяет учесть любое число факторов, практически в этом нет необходимости. Отбор факторов производится на основе качественного теоретико-экономического анализа. Однако теоретический анализ часто не позволяет однозначно ответить на вопрос о количественной взаимосвязи рассматриваемых признаков и целесообразности включения фактора в модель. Поэтому отбор факторов обычно осуществляется в две стадии: на первой — подбирают факторы, исходя из сущности проблемы; на второй — на основе матрицы показателей корреляции определяют t-статистики для параметров регрессии.

Уравнения множественной регрессии могут включать в качестве независимых переменных качественные признаки (например, профессия, пол, образование, климатические условия, отдельные регионы и т. д.).

Чтобы ввести такие переменные в регрессионную модель, их необходимо упорядочить и присвоить им те или иные значения, т. е. качественные переменные преобразовать в количественные.

фиктивными переменными

Коэффициент регрессии при фиктивной переменной интерпретируется как среднее изменение зависимой переменной при переходе от одной категории (женский пол) к другой (мужской пол) при неизменных значениях остальных параметров. На основе t-критерия Стьюдента делается вывод о значимости влияния фиктивной переменной, существенности расхождения между категориями.

Анализ регрессии в изучении экономических проблем

... и ценами на замещающие и дополняющие блага, доходом потребителей и многими другими факторами. В этом случае вместо парной регрессии M(Y|x) = f(x) рассматривается множественная регрессия ... Здесь b0, b1, ..., bm − оценки теоретических значений β1, β2, ..., βm коэффициентов регрессии (эмпирические коэффициенты регрессии); е − оценка отклонения ε. Для индивидуальных наблюдений имеем: yi = b0 + b1xi1 + ...

Коэффициенты интеркорреляции

парных коэффициентов корреляции

4. Проверка качества построенной модели

Качество построенной модели в целом оценивает коэффициент (индекс) детерминации. Коэффициент множественной детерминации рассчитывается как квадрат индекса множественной корреляции:

Скорректированный индекс множественной детерминации содержит поправку на число степеней свободы и рассчитывается по формуле:

где n-число наблюдений;

• m – число факторов.

Значимость уравнения множественной регрессии в целом оценивается с помощью F-критерия Фишера:

Частный F-критерий оценивает статистическую значимость присутствия каждого факторов в уравнении. В общем виде для фактора частный F-критерий определится как

Оценка значимости коэффициентов чистой регрессии с помощью t-критерия Стьюдента сводится к вычислению значения

где — средняя квадратичная ошибка коэффициента регрессии она может быть определена по следующей формуле:

5. Оценка мультиколлинеарности факторов

При построении уравнения множественной регрессии может возникнуть проблема мультиколлинеарности факторов, их тесной линейной связанности.

Считается, что две переменные явно коллинеарны, т. е. находятся между собой в линейной зависимости, если

По величине парных коэффициентов корреляции обнаруживается лишь явная коллинеарность факторов. Наибольшие трудности в использовании аппарата множественной регрессии возникают при наличии мультиколлинеарности факторов. Чем сильнее мультиколлинеарность факторов, тем менее надежна оценка распределения суммы объясненной вариации по отдельным факторам с помощью метода наименьших квадратов.

Наличие мультиколлинеарности факторов может означать, что некоторые факторы будут всегда действовать в унисон. В результате вариация в исходных данных перестает быть полностью независимой и нельзя оценить воздействие каждого фактора в отдельности. Чем сильнее мультиколлинеарность факторов, тем менее надежна оценка распределения суммы объясненной вариации по отдельным факторам с помощью метода наименьших квадратов (МНК).⁷

Для оценки мультиколлинеарности факторов может использоваться определитель матрицы парных коэффициентов корреляции между факторами.

Если бы факторы не коррелировали между собой, то матрица парных коэффициентов корреляции между факторами была бы единичной матрицей, поскольку все недиагональные элементы были бы равны нулю. Так, для включающего три объясняющих переменных уравнения

матрица коэффициентов корреляции между факторами имела бы определитель, равный 1:

так как и .

Если же, наоборот, между факторами существует полная линейная зависимость и все коэффициенты корреляции равны 1, то определитель такой матрицы равен 0:

Чем ближе к 0 определитель матрицы межфакторной корреляции, тем сильнее мультиколлинеарность факторов и ненадежнее результаты множественной регрессии. И наоборот, чем ближе к 1 определитель матрицы межфакторной корреляции, тем меньше мультиколлинеарность факторов.⁸

Множественная регрессия

... расчетная по имеющимся факторам. Это означает, что либо у этой фирмы оказались хуже среднего неизвестные, не входящие в модель факторы, либо степень использования основных факторов – затрат на ... при фактически имеющихся факторах и средней по совокупности их эффективности, выраженной коэффициентами условно чистой регрессии. Рассмотрим результаты расчета урожайности двух фирм (табл. 3). Таблица ...

Проверка мультиколлинеарности факторов может быть проведена методом испытания гипотезы о независимости переменных . Доказано, что величина имеет приближенное распределение с степенями свободы. Если фактическое значение превосходит табличное (критическое) , то гипотеза отклоняется. Это означает, что , недиагональные ненулевые коэффициенты корреляции указывают на коллинеарность факторов. Мультиколлинеарность считается доказанной.⁹

6. Оценка гетероскедастичности

Для применения МНК требуется, чтобы дисперсия остатков была гомоскедастичной. Это значит, что для каждого значения фактора остатки имеют одинаковую дисперсию. Если это условие не соблюдается, то имеет место гетероскедастичность.

При нарушении гомоскедастичности мы имеем неравенства

При малом объеме выборки для оценки гетероскедастичности может использоваться метод Гольдфельда-Квандта. Основная идея теста Гольдфельда-Квандта состоит в следующем:¹⁰

1) упорядочение наблюдений по мере возрастания переменной ;

2) исключение из рассмотрения центральных наблюдений; при этом

• число оцениваемых параметров;

3) разделение совокупности из наблюдений на две группы (соответственно с малыми и с большими значениями фактора ) и определение по каждой из групп уравнений регрессии;

4) определение остаточной суммы квадратов для первой и второй групп и нахождение их отношения: .

При выполнении нулевой гипотезы о гомоскедастичности отношение R будет удовлетворять F-критерию со степенями свободы для каждой остаточной суммы квадратов. Чем больше величина R превышает табличное значение F-критерия, тем более нарушена предпосылка о равенстве дисперсий остаточных величин.¹¹

Практическая часть

Пример 1

По 30 территориям России имеются данные, представленные в табл. 1.

Таблица 1

Требуется:

1 . Построить уравнение множественной регрессии в стандартизованной и естественной форме; рассчитать частные коэффициенты эластичности, сравнить их с b ₁ и b ₂ , пояснить различия между ними.

2 . Рассчитать линейные коэффициенты частной корреляции и коэффициент множественной корреляции, сравнить их с линейными коэффициентами парной корреляции, пояснить различия между ними.

3 . Рассчитать общий и частные F -критерии Фишера.

Решение

1. Линейное уравнение множественной регрессии y от х ₁ и х ₂ имеет вид: . Для расчета его параметров применим метод стандартизации переменных и построим искомое уравнение в стандартизованном масштабе: .

Расчет b -коэффициентов выполним по формулам

Получим уравнение:, Для построения уравнения в естественной форме рассчитаем и , используя формулы для перехода от к :, Значение определим из соотношения, Для характеристики относительной силы влияния и на рассчитаем средние коэффициенты эластичности:

С увеличением средней заработной платы на 1% от ее среднего уровня средний душевой доход возрастает на 1,02% от своего среднего уровня; при повышении среднего возраста безработного на 1% среднедушевой доход снижается на 0,87% от своего среднего уровня. Очевидно, что сила влияния средней заработной платы на средний душевой доход оказалась больше, чем сила влияния среднего возраста безработного . К аналогичным выводам о силе связи приходим при сравнении модулей значений и :

Частная корреляция. Процедура пошагового отбора переменных

... В эконометрике частные коэффициенты корреляции обычно не имеют самостоятельного значения. В основном их используют на стадии формирования многофакторной модели, в частности в процедуре присоединения-удаления факторов. Пример частной корреляции ... обратная корреляция. Если с изменением x значения Y в среднем не изменяются, то говорят, что корреляция - нулевая. Частная корреляция Частная корреляция - ...

Различия в силе влияния фактора на результат, полученные при сравнении и , объясняются тем, что коэффициент эластичности исходит из соотношения средних: а -коэффициент — из соотношения средних квадратических отклонений:.

2. Линейные коэффициенты частной корреляции здесь рассчитываются по рекуррентной формуле:

;

;

Если сравнить значения коэффициентов парной и частной корреляции, то приходим к выводу, что из-за слабой межфакторной связи коэффициенты парной и частной корреляции отличаются незначительно: выводы о тесноте и направлении связи на основе коэффициентов парной и частной корреляции совпадают:

Расчет линейного коэффициента множественной корреляции выполним с использованием коэффициентов и :

Зависимость от и характеризуется как тесная, в которой 72% вариации среднего душевого дохода определяются вариацией учтенных в модели факторов: средней заработной платы и среднего возраста безработного. Прочие факторы, не включенные в модель, составляют соответственно 28% от общей вариации .

3. Общий -критерий проверяет гипотезу о статистической значимости уравнения регрессии и показателя тесноты связи ():

Сравнивая и , приходим к выводу о необходимости отклонить гипотезу , так как С вероятностью делаем заключение о статистической значимости уравнения в целом и показателя тесноты связи которые сформировали под неслучайным воздействием факторов и .

Частные -критерии — и оценивают статистическую значимость присутствия факторов и в уравнении множественной регрессии, оценивают целесообразность включения в уравнение одного фактора после другого фактора, т.е. оценивает целесообразность включения в уравнение фактора после того, как в него был включен фактор . Соответственно указывает на целесообразность включения в модель фактора после фактора :

=

Сравнивая и приходим к выводу о целесообразности включения в модель фактора после фактора , так как . Гипотезу о несущественности прироста за счёт включения дополнительного фактора отклоняем и приходим к выводу о статистически подтвержденной целесообразности включения фактора после фактора .

Целесообразность включения в модель фактора после фактора проверяет :

=

Низкое значение свидетельствует о статистической незначимости прироста за счёт включения в модель фактора (средний возраст безработного).

Эмпирические исследования модели CAPM

... данной курсовой работы можно считать эксперименты по применению концепции «риск - доходность» и определение ее целесообразности в связи с изменениями страновых рисков и рынков. ... корреляции равен 0,069. Следовательно, Модель оценки долгосрочных активов (CAPM) может помочь определиться с подбором акций в свой инвестиционный портфель. Эта модель демонстрирует прямую связь между риском ценной бумаги и ...

Это означает, что парная регрессионная модель зависимости среднего дохода от средней заработной платы является достаточно статистически значимой, надёжной и что нет необходимости улучшать её, включая дополнительный фактор (средний возраст безработного).

Пример 2

Используя статистический материал, приведенный в таблице 1, необходимо:

Таблица 1., Исходные данные