Для определения наличия мультиколлинеарности используют. Мультиколлинеарность, ее последствия. Установление мультиколлинеарности, методы ее устранения. Матрица парных коэффициентов корреляции
Отметим, что в ряде случаев мультиколлинеарность не является таким уж серьезным «злом», чтобы прилагать существенные усилия по ее выявлению и устранению. В основном, все зависит от целей исследования.
Если основная задача модели - прогноз будущих значений зависимой переменной, то при достаточно большом коэффициенте детерминации R2(gt; 0,9) наличие мультиколлинеарности обычно не сказывается на прогнозных качествах модели (если в будущем между коррелированными переменными будут сохраняться те же отношения, что и ранее).
Если необходимо определить степень влияния каждой из объясняющих переменных на зависимую переменную, то мультиколлинеарность, приводящая к увеличению стандартных ошибок, скорее всего, исказит истинные зависимости между переменными. В этой ситуации мультиколлинеарность является серьезной проблемой.
Единого метода устранения мультиколлинеарности, годного в любом случае, не существует. Это связано с тем, что причины и последствия мультиколлинеарности неоднозначны и во многом зависят от результатов выборки.
Исключение переменной(ых) из модели
Простейшим методом устранения мультиколлинеарности является исключение из модели одной или ряда коррелированных переменных. При применении данного метода необходима определенная осмотрительность. В данной ситуации возможны ошибки спецификации, поэтому в прикладных эконометрических моделях желательно не исключать объясняющие переменные до тех пор, пока мультиколлинеарность не станет серьезной проблемой.
Получение дополнительных данных или новой выборки
Поскольку мультиколлинеарность напрямую зависит от выборки, то, возможно, при другой выборке мультиколлинеарности не будет либо она не будет столь серьезной. Иногда для уменьшения мультиколлинеарности достаточно увеличить объем выборки. Например, при использовании ежегодных данных можно перейти к поквартальным данным. Увеличение количества данных сокращает дисперсии коэффициентов регрессии и тем самым увеличивает их статистическую значимость. Однако получение новой выборки или расширение старой не всегда возможно или связано с серьезными издержками. Кроме того, такой подход может усилить автокорреляцию. Эти проблемы ограничивают возможность использования данного метода.
Изменение спецификации модели
В ряде случаев проблема мультиколлинеарности может быть решена путем изменения спецификации модели: либо изменяется форма модели, либо добавляются объясняющие переменные, не учтенные в первоначальной модели, но существенно влияющие на зависимую переменную. Если данный метод имеет основания, то его использование уменьшает сумму квадратов отклонений, тем самым сокращая стандартную ошибку регрессии. Это приводит к уменьшению стандартных ошибок коэффициентов.
Использование предварительной информации о некоторых параметрах
Иногда при построении модели множественной регрессии можно воспользоваться предварительной информацией, в частности известными значениями некоторых коэффициентов регрессии.
Вполне вероятно, что значения коэффициентов, рассчитанные для каких-либо предварительных (обычно более простых) моделей либо для аналогичной модели по ранее полученной выборке, могут быть использованы для разрабатываемой в данный момент модели.
Отбор наиболее существенных объясняющих переменных. Процедура последовательного присоединения элементов
Переход к меньшему числу объясняющих переменных может уменьшить дублирование информации, доставляемой сильно взаимозависимыми признаками. Именно с этим мы сталкиваемся в случае мультиколлинеарности объясняющих переменных.
36. способы выявления мультиколлиарности. частная корреляция
Наибольшие затруднения в использовании аппарата множественной регрессии возникают при наличии мультиколлинеарности факторных переменных, когда более чем два фактора связаны между собой линейной зависимостью.
Мультиколлинеарностью для линейной множественной регрессии называется наличие линейной зависимости между факторными переменными, включёнными в модель.
Мультиколлинеарность – нарушение одного из основных условий, лежащих в основе построения линейной модели множественной регрессии.
Мультиколлинеарность в матричном виде – это зависимость между столбцами матрицы факторных переменных Х:
Если не учитывать единичный вектор, то размерность данной матрицы равна n*n. Если ранг матрицы Х меньше n, то в модели присутствует полная или строгая мультиколлинеарность. Но на практике полная мультиколлинеарность почти не встречается.
Можно сделать вывод, что одной из основных причин присутствия мультиколлинеарности в модели множественной регрессии является плохая матрица факторных переменных Х.
Чем сильнее мультиколлинеарность факторных переменных, тем менее надежной является оценка распределения суммы объясненной вариации по отдельным факторам с помощью метода наименьших квадратов.
Включение в модель мультиколлинеарных факторов нежелательно по нескольким причинам:
1) основная гипотеза о незначимости коэффициентов множественной регрессии может подтвердиться, но сама модель регрессии при проверке с помощью F-критерия оказывается значимой, что говорит о завышенной величине коэффициента множественной корреляции;
2) полученные оценки коэффициентов модели множественной регрессии могут быть неоправданно завышены или иметь неправильные знаки;
3) добавление или исключение из исходных данных одного-двух наблюдений оказывает сильное влияние на оценки коэффициентов модели;
4) мультиколлинеарные факторы, включённые в модель множественной регрессии, способны сделать её непригодной для дальнейшего применения.
Конкретных методов обнаружения мультиколлинеарности не существует, а принято применять ряд эмпирических приёмов. В большинстве случаев множественный регрессионный анализ начинается с рассмотрения корреляционной матрицы факторных переменных R или матрицы (ХТХ).
Корреляционной матрицей факторных переменных называется симметричная относительно главной диагонали матрица линейных коэффициентов парной корреляции факторных переменных:
где rij – линейный коэффициент парной корреляции между i-м и j-ым факторными переменными,
На диагонали корреляционной матрицы находятся единицы, потому что коэффициент корреляции факторной переменной с самой собой равен единице.
При рассмотрении данной матрицы с целью выявления мультиколлинеарных факторов руководствуются следующими правилами:
1) если в корреляционной матрице факторных переменных присутствуют коэффициенты парной корреляции по абсолютной величине большие 0,8, то делают вывод, что в данной модели множественной регрессии существует мультиколлинеарность;
2) вычисляют собственные числа корреляционной матрицы факторных переменных λmin и λmax. Если λmin‹10-5, то в модели регрессии присутствует мультиколлинеарность. Если отношение
то также делают вывод о наличии мультиколлинеарных факторных переменных;
3) вычисляют определитель корреляционной матрицы факторных переменных. Если его величина очень мала, то в модели регрессии присутствует мультиколлинеарность.
37. пути решения проблемы мультиколлиарности
Если оцененную модель регрессии предполагается использовать для изучения экономических связей, то устранение мультиколлинеарных факторов является обязательным, потому что их наличие в модели может привести к неправильным знакам коэффициентов регрессии.
При построении прогноза на основе модели регрессии с мультиколлинеарными факторами необходимо оценивать ситуацию по величине ошибки прогноза. Если её величина является удовлетворительной, то модель можно использовать, несмотря на мультиколлинеарность. Если же величина ошибки прогноза большая, то устранение мультиколлинеарных факторов из модели регрессии является одним из методов повышения точности прогноза.
К основным способам устранения мультиколлинеарности в модели множественной регрессии относятся:
1) один из наиболее простых способов устранения мультиколлинеарности состоит в получении дополнительных данных. Однако на практике в некоторых случаях реализация данного метода может быть весьма затруднительна;
2) способ преобразования переменных, например, вместо значений всех переменных, участвующих в модели (и результативной в том числе) можно взять их логарифмы:
lny=β0+β1lnx1+β2lnx2+ε.
Однако данный способ также не способен гарантировать полного устранения мультиколлинеарности факторов;
Если рассмотренные способы не помогли устранить мультиколлинеарность факторов, то переходят к использованию смещённых методов оценки неизвестных параметров модели регрессии, или методов исключения переменных из модели множественной регрессии.
Если ни одну из факторных переменных, включённых в модель множественной регрессии, исключить нельзя, то применяют один из основных смещённых методов оценки коэффициентов модели регрессии – гребневую регрессию или ридж (ridge).
При использовании метода гребневой регрессии ко всем диагональным элементам матрицы (ХТХ) добавляется небольшое число τ: 10-6 ‹ τ ‹ 0.1. Оценивание неизвестных параметров модели множественной регрессии осуществляется по формуле:
где ln – единичная матрица.
Результатом применения гребневой регрессии является уменьшение стандартных ошибок коэффициентов модели множественной регрессии по причине их стабилизации к определённому числу.
Метод главных компонент является одним из основных методов исключения переменных из модели множественной регрессии.
Данный метод используется для исключения или уменьшения мультиколлинеарности факторных переменных модели регрессии. Суть метода заключается в сокращении числа факторных переменных до наиболее существенно влияющих факторов. Это достигается с помощью линейного преобразования всех факторных переменных xi (i=0,…,n) в новые переменные, называемые главными компонентами, т. е. осуществляется переход от матрицы факторных переменных Х к матрице главных компонент F. При этом выдвигается требование, чтобы выделению первой главной компоненты соответствовал максимум общей дисперсии всех факторных переменных xi (i=0,…,n), второй компоненте – максимум оставшейся дисперсии, после того как влияние первой главной компоненты исключается и т. д.
Метод пошагового включения переменных состоит в выборе из всего возможного набора факторных переменных именно те, которые оказывают существенное влияние на результативную переменную.
Метод пошагового включения осуществляется по следующему алгоритму:
1) из всех факторных переменных в модель регрессии включаются те переменные, которым соответствует наибольший модуль линейного коэффициента парной корреляции с результативной переменной;
2) при добавлении в модель регрессии новых факторных переменных проверяется их значимость с помощью F-критерия Фишера. При том выдвигается основная гипотеза о необоснованности включения факторной переменной xk в модель множественной регрессии. Обратная гипотеза состоит в утверждении о целесообразности включения факторной переменной xk в модель множественной регрессии. Критическое значение F-критерия определяется как Fкрит(a;k1;k2), где а – уровень значимости, k1=1 и k2=n–l – число степеней свободы, n – объём выборочной совокупности, l – число оцениваемых по выборке параметров. Наблюдаемое значение F-критерия рассчитывается по формуле:
где q – число уже включённых в модель регрессии факторных переменных.
При проверке основной гипотезы возможны следующие ситуации.
Fнабл›Fкрит, то основная гипотеза о необоснованности включения факторной переменной xk в модель множественной регрессии отвергается. Следовательно, включение данной переменной в модель множественной регрессии является обоснованным.
Если наблюдаемое значение F-критерия (вычисленное по выборочным данным) меньше или равно критического значения F-критерия (определённого по таблице распределения Фишера-Снедекора), т. е. Fнабл≤Fкрит, то основная гипотеза о необоснованности включения факторной переменной xk в модель множественной регрессии принимается. Следовательно, данную факторную переменную можно не включать в модель без ущерба для её качества
3) проверка факторных переменных на значимость осуществляется до тех пор, пока не найдётся хотя бы одна переменная, для которой не выполняется условие Fнабл›Fкрит.
38. фиктивные переменные. Тест чоу
Термин “фиктивные переменные” используется как противоположность “значащим” переменным, показывающим уровень количественного показателя, принимающего значения из непрерывного интервала. Как правило, фиктивная переменная - это индикаторная переменная, отражающая качественную характеристику. Чаще всего применяются бинарные фиктивные переменные, принимающие два значения, 0 и 1, в зависимости от определенного условия. Например, в результате опроса группы людей 0 может означать, что опрашиваемый - мужчина, а 1 - женщина. К фиктивным переменным иногда относят регрессор, состоящий из одних единиц (т.е. константу, свободный член), а также временной тренд.
Фиктивные переменные, будучи экзогенными, не создают каких-либо трудностей при применении ОМНК. Фиктивные переменные являются эффективным инструментом построения регрессионных моделей и проверки гипотез.
Предположим, что на основе собранных данных была построена модель регрессии. Перед исследователем стоит задача о том, стоит ли вводить в полученную модель дополнительные фиктивные переменные или базисная модель является оптимальной. Данная задача решается с помощью метода или теста Чоу. Он применяется в тех ситуациях, когда основную выборочную совокупность можно разделить на части или подвыборки. В этом случае можно проверить предположение о большей эффективности подвыборок по сравнению с общей моделью регрессии.
Будем считать, что общая модель регрессии представляет собой модель регрессии модель без ограничений. Обозначим данную модель через UN . Отдельными подвыборками будем считать частные случаи модели регрессии без ограничений. Обозначим эти частные подвыборки как PR .
Введём следующие обозначения:
PR1 – первая подвыборка;
PR2 – вторая подвыборка;
ESS(PR1) – сумма квадратов остатков для первой подвыборки;
ESS(PR2) – сумма квадратов остатков для второй подвыборки;
ESS(UN) – сумма квадратов остатков для общей модели регрессии.
– сумма квадратов остатков для наблюдений первой подвыборки в общей модели регрессии;
– сумма квадратов остатков для наблюдений второй подвыборки в общей модели регрессии.
Для частных моделей регрессии справедливы следующие неравенства:
Условие (ESS(PR1)+ESS(PR2))= ESS(UN) выполняется только в том случае, если коэффициенты частных моделей регрессии и коэффициенты общей модели регрессии без ограничений будут одинаковы, но на практике такое совпадение встречается очень редко.
Основная гипотеза формулируется как утверждение о том, что качество общей модели регрессии без ограничений лучше качества частных моделей регрессии или подвыборок.
Альтернативная или обратная гипотеза утверждает, что качество общей модели регрессии без ограничений хуже качества частных моделей регрессии или подвыборок
Данные гипотезы проверяются с помощью F-критерия Фишера-Снедекора.
Наблюдаемое значение F-критерия сравнивают с критическим значением F-критерия, которое определяется по таблице распределения Фишера-Снедекора.
а k1=m+1 и k2=n-2m-2 .
Наблюдаемое значение F-критерия рассчитывается по формуле:где ESS(UN)– ESS(PR1)– ESS(PR2) – величина, характеризующая улучшение качества модели регрессии после разделения её на подвыборки;
m – количество факторных переменных (в том числе фиктивных);
n – объём общей выборочной совокупности.
Если наблюдаемое значение F-критерия (вычисленное по выборочным данным) больше критического значения F-критерия (определённого по таблице распределения Фишера-Снедекора), т. е. Fнабл>Fкрит , то основная гипотеза отклоняется, и качество частных моделей регрессии превосходит качество общей модели регрессии.
Если наблюдаемое значение F-критерия (вычисленное по выборочным данным) меньше или равно критического значения F-критерия (определённого по таблице распределения Фишера-Снедекора), т.е. Fнабл?Fкрит , то основная гипотеза принимается, и разбивать общую регрессию на подвыборки не имеет смысла.
Если осуществляется проверка значимости базисной регрессии или регрессии с ограничениями (restricted regression), то выдвигается основная гипотеза вида:
Справедливость данной гипотезы проверяется с помощью F-критерия Фишера-Снедекора.
Критическое значение F-критерия Фишера определяется по таблице распределения Фишера-Снедекора в зависимости от уровня значимости а и двух степеней свободы свободы k1=m+1 и k2=n–k–1 .
Наблюдаемое значение F-критерия преобразуется к виду:
При проверке выдвинутых гипотез возможны следующие ситуации.
Если наблюдаемое значение F-критерия (вычисленное по выборочным данным) больше критического значения F-критерия (определённого по таблице распределения Фишера-Снедекора), т. е. Fнабл›Fкрит, то основная гипотеза отклоняется, и в модель регрессии необходимо вводить дополнительные фиктивные переменные, потому что качество модели регрессии с ограничениями выше качества базисной или ограниченной модели регрессии.
Если наблюдаемое значение F-критерия (вычисленное по выборочным данным) меньше или равно критического значения F-критерия (определённого по таблице распределения Фишера-Снедекора), т. е. Fнабл?Fкрит , то основная гипотеза принимается, и базисная модель регрессии является удовлетворительной, вводить в модель дополнительные фиктивные переменные не имеет смысла.
39. система одновременных уравнений (эндогенные, экзогенные, лаговые переменные). Экономически значимые примеры систем одновременных уравнений
До сих пор мы рассматривали эконометрические модели, задаваемые уравнениями, выражающими зависимую (объясняемую) переменную через объясняющие переменные. Однако реальные экономические объекты, исследуемые с помощью эко-нометрических методов, приводят к расширению понятия эко-нометрической модели, описываемой системой регрессионных уравнений и тождеств1.
1 В отличие от регрессионных уравнений тождества не содержат подлежащих оценке параметров модели и не включают случайной составляющей.
Особенностью этих систем является то, что каждое из уравнений системы, кроме «своих» объясняющих переменных, может включать объясняемые переменные из других уравнений. Таким образом, мы имеем не одну зависимую переменную, а набор зависимых (объясняемых) переменных, связанных уравнениями системы. Такую систему называют также системой одновременных уравнений, подчеркивая тот факт, что в системе одни и те же переменные одновременно рассматриваются как зависимые в одних уравнениях и независимые в других.
Системы одновременных уравнений наиболее полно описывают экономический объект, содержащий множество взаимосвязанных эндогенных (формирующихся внутри функционирования объекта) и экзогенных (задаваемых извне) переменных. При этом в качестве эндогенных и экзогенных могут выступать лаговые (взятые в предыдущий момент времени) переменные.
Классическим примером такой системы является модель спроса Qd и предложения Qs (см. § 9.1), когда спрос на товар определятся его ценой Р и доходом потребителя /, предложение товара - его ценой Р и достигается равновесие между спросом и предложением:
В этой системе экзогенной переменной выступает доход потребителя /, а эндогенными - спрос (предложение) товара Qd = Q» = Q и цена товара (цена равновесия) Р.
В другой модели спроса и предложения в качестве объясняющей предложение Qf переменной может быть не только цена товара Р в данный момент времени /, т.е. Рь но и цена товара в предыдущий момент времени Ptь т.е. лаговая эндогенная переменная:
й"=Р4+Р5^+Рб^-1+Є2.
Обобщая изложенное, можно сказать, что эконометринеская модель позволяет объяснить поведение эндогенных переменных в зависимости от значений экзогенных и лаговых эндогенных переменных (иначе - в зависимости от предопределенных, т.е. заранее определенных, переменных).
Завершая рассмотрение понятия эконометрической модели, следует отметить следующее. Не всякая экономико-математическая модель, представляющая математико-статистическое описание исследуемого экономического объекта, может считаться эконометрической. Она становится эконометрической только в том случае, если будет отражать этот объект на основе характеризующих именно его эмпирических (статистических) данных.
40. косвенный метод наименьших квадратов
Если i -е стохастическое уравнение структурной формы идентифицируемо точно, то параметры этого уравнения (коэффициенты уравнения и дисперсия случайной ошибки) восстанавливаются по параметрам приведенной системы однозначно. Поэтому для оценивания параметров такого уравнения достаточно оценить методом наименьших квадратов коэффициенты каждого из уравнений приведенной формы методом наименьших квадратов (отдельно для каждого уравнения) и получить оценку ковариационной матрицы Q ошибок в приведенной форме, после чего воспользоваться соотношениями ПГ = В и Е = ГТQT , подставляя в них вместо П оцененную матрицу коэффициентов приведенной формы П и оцененную ковариационную матрицу ошибок в приведенной форме £2. Такая процедура называется косвенным методом наименьших квадратов (ILS indirect least squares). Полученные в результате оценки коэффициентов i -го стохастического уравнения структурной формы наследуют свойство состоятельности оценок приведенной формы. Однако они не наследуют таких свойств оценок приведенной формы как несмещенность и эффективность из-за того, что получаются в результате некоторых нелинейных преобразований. Соответственно, при небольшом количестве наблюдений даже у этих естественных оценок может возникать заметное смещение. В связи с этим при рассмотрении различных методов оценивания коэффициентов структурных уравнений в первую очередь заботятся об обеспечении именно состоятельности получаемых оценок.
41. проблемы идентифицируемости систем одновременных уравнений
При правильной спецификации модели задача идентификация системы уравнений сводится к корректной и однозначной оценке ее коэффициентов. Непосредственная оценка коэффициентов уравнения возможна лишь в системах внешне не связанных уравнений, для которых выполняются основные предпосылки построения регрессионной модели, в частности, условие некоррелированности факторных переменных с остатками.
В рекурсивных системах всегда возможно избавление от проблемы коррелированности остатков с факторными переменными путем подстановки в качестве значений факторных переменных не фактических, а модельных значений эндогенных переменных, выступающих в качестве факторных переменных. Процесс идентификации осуществляется следующим образом:
1. Идентифицируется уравнение, в котором в качестве факторных не содержатся эндогенные переменные. Находится расчетное значение эндогенной переменной этого уравнения.
2. Рассматривается следующее уравнение, в котором в качестве факторной включена эндогенная переменная, найденная на предыдущем шаге. Модельные (расчетные) значения этой эндогенной переменной обеспечивают возможность идентификации этого уравнения и т. д.
В системе уравнений в приведенной форме проблема коррелированности факторных переменных с отклонениями не возникает, так как в каждом уравнении в качестве факторных переменных используются лишь предопределенные переменные. Таким образом, при выполнении других предпосылок рекурсивная система всегда идентифицируема.
При рассмотрении системы одновременных уравнений возникает проблема идентификации.
Идентификация в данном случае означает определение возможности однозначного пересчета коэффициентов системы в приведенной форме в структурные коэффициенты .
Структурная модель (7.3) в полном виде содержит 
параметров, которые необходимо определить. Приведенная форма модели в полном виде содержит параметров. Следовательно, для определения неизвестных параметров структурной модели можно составить уравнений. Такие системы являются неопределенными и параметры структурной модели в общем случае не могут быть однозначно определены.
Чтобы получить единственно возможное решение необходимо предположить, что некоторые из структурных коэффициентов модели ввиду слабой их взаимосвязи с эндогенной переменной из левой части системы равны нулю. Тем самым уменьшится число структурных коэффициентов модели. Уменьшение числа структурных коэффициентов модели возможно и другими путями: например, путем приравнивания некоторых коэффициентов друг к другу, т. е. путем предположений, что их воздействие на формируемую эндогенную переменную одинаково и пр.
С позиции идентифицируемости структурные модели можно подразделить на три вида:
· идентифицируемые;
· неидентифицируемые;
· сверхидентифицируемые.
Модель идентифицируема , если все структурные ее коэффициенты определяются однозначно, единственным образом по коэффициентам приведенной формы модели, т. е. если число параметров структурной модели равно числу параметров приведенной формы модели.
Модель неидентифицируема , если число коэффициентов приведенной модели меньше числа структурных коэффициентов, и в результате структурные коэффициенты не могут быть оценены через коэффициенты приведенной формы модели.
Модель сверхидентифицируема , если число коэффициентов приведенной модели больше числа структурных коэффициентов. В этом случае на основе коэффициентов приведенной формы можно получить два или более значений одного структурного коэффициента. Сверхидентифицируемая модель в отличие от неидентифицируемой модели практически решаема, но требует для этого специальных методов нахождения параметров.
Чтобы определить тип структурной модели необходимо каждое ее уравнение проверить на идентифицируемость.
Модель считается идентифицируемой, если каждое уравнение системы идентифицируемо. Если хотя бы одно из уравнений системы неидентифицируемо, то и вся модель считается неидентифицируемой. Сверхидентифицируемая модель кроме идентифицируемых содержит хотя бы одно сверхидентифицируемое уравнение .
42. трехшаговый метод наименьших квадратов
Наиболее эффективная процедура оценивания систем регрессионных уравнений сочетает метод одновременного оценивания и метод инструментальных переменных. Соответствующий метод называется трехшаговым методом наименьших квадратов. Он заключается в том, что на первом шаге к исходной модели (9.2) применяется обобщенный метод наименьших квадратов с целью устранения корреляции случайных членов. Затем к полученным уравнениям применяется двухшаговый метод наименьших квадратов.
Очевидно, что если случайные члены (9.2) не коррелируют, трехшаговый метод сводится к двухшаговому, в то же время, если матрица В - единичная, трехшаговый метод представляет собой процедуру одновременного оценивания уравнений как внешне не связанных.
Применим трехшаговый метод к рассматриваемой модели (9.24):
ai=19,31; Pi=l,77; а2=19,98; р2=0,05; у=1,4. (6,98) (0,03) (4,82) (0,08) (0,016)
Так как коэффициент р2 незначим, то уравнение зависимости У от X имеет вид:
у =16,98 + 1,4х
Заметим, что оно практически совпадает с уравнением (9.23).
Как известно, очищение уравнения от корреляции случайных членов - процесс итеративный. В соответствии с этим при использовании трехшагового метода компьютерная программа запрашивает число итераций или требуемую точность. Отметим важное свойство трехшагового метода, обеспечивающего его наибольшую эффективность.
При достаточно большом числе итераций оценки трехшагового метода наименьших квадратов совпадают с оценками максимального правдоподобия.
Как известно, оценки максимального правдоподобия на больших выборках являются наилучшими.
43. понятие экономических рядов динамики. Общий вид мультипликативной и аддитивной модели временного ряда.
44. моделирование тенденции временного ряда, сезонных и циклических колебаний.
Существует несколько подходов к анализу структуры временных рядов, содержащих сезонные или циклические колебания.
1 ПОДХОД . Расчет значений сезонной компоненты методом скользящей средней и построение аддитивной или мультипликативной модели временного ряда.
Общий вид аддитивной модели: (Т - трендовая компонента, S - сезонная, Е - случайная).
Общий вид мультипликативной модели:
Выбор модели на основе анализа структуры сезонных колебаний (если амплитуда колебаний приблизительно постоянна – аддитивная, если возрастает/уменьшается – мультипликативная).
Построение моделей сводится к расчету значений T,S,E для каждого уровня ряда.
Построение модели:
1.выравнивание исходного ряда методом скользящей средней;
2.расчет значений компоненты S ;
3.Устранение сезонной компоненты из исходных уровней ряда и получение выровненных данных (T+E ) в аддитивной или (T*E ) в мультипликативной модели.
4.Аналитическое выравнивание уровней (T+E ) или (T*E ) и расчет значения Т с использованием полученного уровня тренда.
5.Расчет полученных по модели значений (T+S ) или (T*S ).
6.Расчет абсолютных и/или относительных ошибок.
Если полученные значения ошибок не содержат автокорреляции, ими можно заменить исходные уровни ряда и в дальнейшем использовать временной ряд ошибок Е для анализа взаимосвязи исходного ряда и др. временных рядов.
2 ПОДХОД. Построение модели регрессии с включением фактора времени и фиктивных переменных. Количество фиктивных переменных в такой модели должно быть на единицу меньше числа моментов (периодов) времени внутри одного цикла колебаний. Например, при моделировании поквартальных данных модель должна включать четыре независимые переменные – фактор времени и три фиктивные переменные. Каждая фиктивная переменная отражает сезонную (циклическую) компоненту временного ряда для какого-либо одного периода. Она равна единице (1) для данного периода и нулю (0) для всех остальных. Недостаток модели с фиктивными переменными – наличие большого количества переменных.
45. автокорреляционная функция. Ее использование для выявления наличия или отсутствия трендовой и циклической компоненты
Автокорреляция уровней временного ряда .
При наличии во временном ряде тенденции и циклических колебаний каждого последующего уровня ряда зависят от предыдущих. Корреляционную зависимость между последовательными уровнями временного ряда называют автокорреляцией уровней ряда .
Количественно автокорреляцию уровней ряда измеряют с помощью линейного коэффициента корреляции между уровнями исходного временного ряда и уровнями этого ряда, сдвинутые на несколько шагов во времени.
Пусть, например, дан временной ряд 
. Определим коэффициент корреляции между рядами и .
Одна из рабочих формул расчета коэффициента корреляции имеет вид:
И временного ряда, т.е. при лаге 2. Он определяется по формуле:
(4)
Заметим, что с увеличением лага число пар значений, по которым рассчитывается коэффициент корреляции, уменьшается. Обычно лаг не допускается равным числу, превышающему четверть числа наблюдений.
Отметим два важных свойства коэффициентов автокорреляции.
Во-первых, коэффициенты автокорреляции считаются по аналогии с линейным коэффициентом корреляции, т.е. они характеризуют только тесноту линейной связи двух рассматриваемых уровней временного ряда. Поэтому по коэффициенту автокорреляции можно судить только о наличии линейной (или близкой к линейной) тенденции. Для временных рядов, имеющих сильную нелинейную тенденцию (например, экспоненту), коэффициент автокорреляции уровней может приближаться к нулю.
11. Проблема наличия мультиколлинеарности. Последствия наличия и диагностики мультиколлинеарности.
Если имеется линейная связь экзогенных переменных , например , то МНК-оценки не будут существовать, т.к. не существует обратная к матрице, которая будет вырожденной. Такая ситуация в эконометрике носит название проблемымультиколлинеарности.
Причины мультиколлинеарности:
неправильная спецификация модели
небрежное проведение сбора статданных (использование повторных наблюдений).
Различают явную и неявную мультиколлинеарность.
Явная – известна точная линейная зависимость между переменными модели.
Например, если в модель инвестиционного процесса включить номинальную и реальную процентные ставки, т.е.
где известна зависимость реальной и номинальной ставок и темпа инфляции
то имеет место явная мультиколлинеарность.
Неявная возникает, когда существует стохастическая (неопределенная, случайная) линейная зависимость между экзогенными переменными.
преобладает неявная, ее наличие характеризуют 6 признаков :
1. МНК-оценки параметров модели теряют свойства несмещенности .
2. Дисперсия МНК-оценок возрастает:
Вследствие того, что, коэффициент корреляции, тогда, что влечет
3. Происходит уменьшение t -статистик, являющихся индикаторами значимости параметров:
4. Коэффициент детерминации уже не является мерой адекватности модели, так как низкие значения t -статистик влекут недоверие к подобранной модели зависимости.
5. Оценки параметров при неколлинеарных экзогенных переменных становятся очень чувствительными к изменению данных.
6. Оценки параметров при неколлинеарных экзогенных переменных становятся незначимыми.
Методы диагноза мультиколлинеарности:
Шаг 1. В модели (исходной) множественной линейной регрессии переберем все подмодели, в которых какая-либо экзогенная переменная становится эндогенной, т.е.
Шаг 2. Вычисляем коэффициенты детерминации всех полученных моделей , на основе которых рассчитаем так называемые инфляционные факторы:
Если , то делают вывод о существовании мультиколлинеарности.
а) в модели не изменяют никакую структуру, а, применяя компьютерный МНК, анализируют наличие проблемы мультиколлинеарности по визуальным методам.
б) улучшают спецификацию модели, устраняя из исходной модели коллинеарные экзогенные переменные.
в) увеличивают объем статистических данных.
г) объединяют коллинеарные переменные и включают в модель общую экзогенную переменную.
12. Методы устранения мультиколлинеарности. Метод главных компонент. Гребневая регрессия.
Если основная задача модели − прогноз будущих значений зависимой переменной, то при достаточно большом коэффициенте детерминации R 2 (≥ 0.9) наличие мультиколлинеарности зачастую не сказывается на прогнозных качествах модели.
Если целью исследования является определение степени влияния каждой из объясняющих переменных на зависимую переменную, то наличие мультиколлинеарности исказит истинные зависимости между переменными. В этой ситуации мультиколлинеарность представляется серьезной проблемой.
Отметим, что единого метода устранения мультиколлинеарности, годного в любом случае, не существует. Это связано с тем, что причины и последствия мультиколлинеарности неоднозначны и во многом зависят от результатов выборки.
МЕТОДЫ:
Исключение переменной(ых) из модели
Например, при исследовании спроса на некоторое благо в качестве объясняющих переменных можно использовать цену данного блага и цены заменителей данного блага, которые зачастую коррелируют друг с другом. Исключив из модели цены заменителей, мы, скорее всего, допустим ошибку спецификации. Вследствие этого возможно получение смещенных оценок и осуществление необоснованных выводов. в прикладных эконометрических моделях желательно не исключать объясняющие переменные до тех пор, пока коллинеарность не станет серьезной проблемой.
Получение дополнительных данных или новой выборки
Иногда достаточно увеличить объем выборки. Например, при использовании ежегодных данных можно перейти к поквартальным данным. Увеличение количества данных сокращает дисперсии коэффициентов регрессии и тем самым увеличивает их статистическую значимость. Однако получение новой выборки или расширение старой не всегда возможно или связано с серьезными издержками. Кроме того, данный подход может усилить автокорреляцию. Эти проблемы ограничивают возможность использования данного метода.
Изменение спецификации модели
В ряде случаев проблема мультиколлинеарности может быть решена изменением спецификации модели: либо изменением формы модели, либо добавлением объясняющих переменных, которые не учтены в первоначальной модели, но существенно влияющие на зависимую переменную.
Использование предварительной информации о некоторых параметрах
Иногда при построении модели множественной регрессии можно воспользоваться некоторой предварительной информацией, в частности, известными значениями некоторых коэффициентов регрессии. Вполне вероятно, что значения коэффициентов, полученные для каких-либо предварительных (обычно более простых) моделей, либо для аналогичной модели по ранее полученной выборке, могут быть использованы для разрабатываемой в данный момент модели.
Для иллюстрации приведем следующий пример. Строится регрессия. Предположим, что переменные X1 и X2 коррелированы. Для ранее построенной модели парной регрессии Y = γ0 + γ1X1+υ был определен статистически значимый коэффициент γ1 (для определенности пусть γ1 = 0.8), связывающий Y с X1. Если есть основания думать, что связь между Y и X1 останется неизменной, то можно положить γ1 = β1 = 0.8. Тогда:
Y = β0 + 0.8X1 + β2X2 + ε. ⇒ Y – 0.8X1 = β0 + β2X2 + ε.
Уравнение фактически является уравнением парной регрессии, для которого проблема мультиколлинеарности не существует.
Ограниченность использования данного метода обусловлена:
получение предварительной информации зачастую затруднительно,
вероятность того, что выделенный коэффициент регрессии будет одним и тем же для различных моделей, не высока.
Преобразование переменных
В ряде случаев минимизировать либо вообще устранить проблему мультиколлинеарности можно с помощью преобразования переменных.
Например, пусть эмпирическое уравнение регрессии имеет вид Y = b0 + b1X1 + b2X2
причем X1 и X2 − коррелированные переменные. В этой ситуации можно попытаться определять регрессионные зависимости относительных величин. Вполне вероятно, что в аналогичных моделях, проблема мультиколлинеарности будет отсутствовать.
Метод главных компонент является одним из основных методов исключения переменных из модели множественной регрессии.
Данный метод используется для исключения или уменьшения мультиколлинеарности факторных переменных модели регрессии. Суть метода : сокращение числа факторных переменных до наиболее существенно влияющих факторов . Это достигается с помощью линейного преобразования всех факторных переменных xi (i=0,…,n) в новые переменные, называемые главными компонентами, т. е. осуществляется переход от матрицы факторных переменных Х к матрице главных компонент F. При этом выдвигается требование, чтобы выделению первой главной компоненты соответствовал максимум общей дисперсии всех факторных переменных xi (i=0,…,n), второй компоненте – максимум оставшейся дисперсии, после того как влияние первой главной компоненты исключается и т. д.
Если ни одну из факторных переменных, включённых в модель множественной регрессии, исключить нельзя, то применяют один из основных смещённых методов оценки коэффициентов модели регрессии – гребневую регрессию или ридж (ridge). При использовании метода гребневой регрессии ко всем диагональным элементам матрицы (ХТХ) добавляется небольшое число τ: 10-6 ‹ τ ‹ 0.1. Оценивание неизвестных параметров модели множественной регрессии осуществляется по формуле:
где ln – единичная матрица.
ВОПРОСЫ НА ЭКЗАМЕН ПО КУРСУ
«ЭКОНОМЕТРИКА (продвинутый уровень)»
1. Модель множественной регрессии. Виды моделей множественной регрессии.
2. Матричная форма записи и матричная формула оценки параметров множественной регрессии.
3. Оценка качества уравнения регрессии. Объясненная и необъясненная составляющие уравнения регрессии.
4. Коэффициент детерминации и коэффициент корреляции, их расчет в модели парной регрессии.
5. Выборочный множественный коэффициент детерминации и проверка его значимости по -критерию Фишера.
6. Проверка значимости множественного уравнения регрессии с помощью -критерия Фишера.
Значимость уравнения регрессии, т.е. соответствие эконометрической модели Y = a ˆ0 + a ˆ 1X + e фактическим (эмпирическим) данным, позволяет ус-
тановить, пригодно ли уравнение регрессии для практического использования (для анализа и прогноза), или нет.
Для проверки значимости уравнения используется F - критерий Фишера. Он вычисляется по фактическим данным как отношение несмещенной
дисперсии остаточной компоненты к дисперсии исходного ряда. Проверка значимости коэффициента детерминации осуществляется с помощью -критерия Фишера, расчетное значение которого находится по формуле:
,
где коэффициент множественной корреляции, – количество наблюдений, - количество переменных, – диагональный элемент матрицы .
Для проверки гипотезы по таблице определяют табличное значение
критерия Фишера F .
F(α ν1 ν2) – это максимально возможное значение критерия в зависимости от влияния случайных факторов при данных степенях свободы
ν = m1 , ν2 = n − m −1, и уровне значимости α . Здесь m – количество аргументов в модели.
Уровень значимости α – вероятность отвергнуть правильную гипотезу, но при условии, что она верна (ошибка первого рода). Обычно α принимается равной 0,05 или 0,01.
Если F ф> F табл, то H0 – гипотеза о случайной природе оцениваемых характеристик отклоняется и признается их статистическая значимость и надежность. Если наоборт, то гипотеза H0 не отклоняется и признается статистическая незначимость, ненадежность уравнения регрессии.
7. Оценка значимости линейных коэффициентов корреляции. -критерий Стьюдента.
Для оценки статистической значимости коэффициентов регрессии и коэффициента корреляции рассчитывается t-критерий Стьюдента. Выдвигается гипотеза H 0 о случайной природе показателей, т.е. о незначимом их отличии от нуля. Наблюдаемые значения t-критерия рассчитываются по формулам:
| , , , |
где – случайные ошибки параметров линейной регрессии и коэффициента корреляции.
Для линейной парной регрессии выполняется равенство , поэтому проверки гипотез о значимости коэффициента регрессии при факторе и коэффициента корреляции равносильны проверке гипотезы о статистической значимости уравнения регрессии в целом.
Вообще, случайные ошибки рассчитываются по формулам:
, ,  .
|
где – остаточная дисперсия на одну степень свободы:
 .
|
Табличное (критическое) значение t-статистики находят по таблицам распределения t-Стьюдента при уровне значимости α = 0,05 и числе степеней свободы . Если t табл < t факт, то H 0 отклоняется, т.е. коэффициенты регрессии не случайно отличаются от нуля и сформировались под влиянием систематически действующего фактора.
8. Анализ влияния факторов на основе многофакторных регрессионных моделей: коэффициент эластичности ; бета-коэффициент и дельта-коэффициент .
9. Способы расчета параметров , , производственной функции Кобба-Дугласа.
10. Регрессионные уравнения с переменной структурой. Фиктивные переменные. Виды фиктивных переменных. Преимущества использования фиктивных переменных при построении регрессионных моделей.
11. Использование фиктивных переменных для исследования структурных изменений. Моделирование сезонности. Количество бинарных переменных при k градациях.
Понятие мультиколлинеарности. Методы обнаружения и устранения мультиколлинеарности.
Количественная оценка параметров уравнения регрессии предполагает выполнение условия линейной независимости между независимыми переменными. Однако на практике объясняющие переменные часто имеют высокую степень взаимосвязи между собой, что является нарушением указанного условия. Данное явление носит название мультиколлинеарности.
Термин коллинеарность (collinear ) обозначает линейную корреляцию между двумя независимыми переменными, а Мультиколлинеарность (multi-collinear ) – между более чем двумя независимыми переменными. Обыкновенно под мультиколлинеарностью понимают оба случая.
Таким образом, мультиколлинеарность означает наличие тесной линейной зависимости или сильной корреляции между двумя или более объясняющими (независимыми) переменными. Одной из задач эконометрии является выявление мультиколлинеарности между независимыми переменными.
Различают совершенную и несовершенную мультиколлинеарность. Совершенная мультиколлинеарность означает, что вариация одной из независимых переменных может быть полностью объяснена изменением другой (других) переменной.
Иначе, взаимосвязь между ними выражается линейной функцией
Графическая интерпретация данного случая:
Несовершенная мультиколлинеарность может быть определена как линейная функциональная связь между двумя или более независимыми переменными, которая настолько сильна, что может существенно затронуть оценки коэффициентов при переменных в модели.
Несовершенная мультиколлинеарность возникает тогда, когда две (или более) независимые переменные находятся между собой в линейной функциональной зависимости, описываемой уравнением
В отличие от ранее рассмотренного уравнения, данное включает величину стохастической ошибки . Это предполагает, что несмотря на то, что взаимосвязь между и может быть весьма сильной, она не настолько сильна, чтобы полностью объяснить изменение переменной изменением , т.е. существует некоторая необъяснимая вариация.
Графически данный случай представлен следующим образом:
 |
В каких же случаях может возникнуть мультиколлинеарность? Их, по крайней мере, два.
1. Имеет место глобальная тенденция одновременного изменения экономических показателей. В качестве примера можно привести такие показатели как объем производства, доход, потребление, накопление, занятость, инвестиции и т.п., значения которых возрастают в период экономического роста и снижаются в период спада.
Одной из причин мультиколлинеарности является наличие тренда (тенденции) в динамике экономических показателей.
2. Использование лаговых значений переменных в экономических моделях.
В качестве примера можно рассматривать модели, в которых используются как величины дохода текущего периода, так и затраты на потребление предыдущего.
В целом при исследовании экономических процессов и явлений методами эконометрии очень трудно избежать зависимости между показателями.
Последствия мультиколлинеарности сводятся к
1. снижению точности оценивания, которая проявляется через
a. слишком большие ошибки некоторых оценок,
b. высокую степень корреляции между ошибками,
c. Резкое увеличение дисперсии оценок параметров. Данное проявление мультиколлинеарности может также отразиться на получении неожиданного знака при оценках параметров;
2. незначимости оценок параметров некоторых переменных модели благодаря, в первую очередь, наличию их взаимосвязи с другими переменными, а не из-за того, что они не влияют на зависимую переменную. То есть -статистика параметров модели не отвечает уровню значимости ( -критерий Стьюдента не выдерживает проверки на адекватность);
3. сильному повышению чувствительности оценок параметров к размерам совокупности наблюдений. То есть увеличение числа наблюдений существенно может повлиять на величины оценок параметров модели;
4. увеличению доверительных интервалов;
5. повышению чувствительности оценок к изменению спецификации модели (например, к добавлению в модель или исключению из модели переменных, даже несущественно влияющих).
Признаки мультиколлинеарности:
1. когда среди парных коэффициентов корреляции
между объясняющими (независимыми) переменными есть такие, уровень которых либо приближается, либо равен коэффициенту множественной корреляции.
Если в модели более двух независимых переменных, то необходимо более детальное исследование взаимосвязей между переменными. Данная процедура может быть осуществлена с помощью алгоритма Фаррара-Глобера;
2. когда определитель матрицы коэффициентов парной корреляции между независимыми переменными приближается к нулю:
если , то имеет место полная мультиколлинеарность,
если , то мультиколлинеарность отсутствует;
3. если в модели найдено маленькое значение параметра при высоком уровне коэффициента частной детерминации и при этом -критерий существенно отличается от нуля;
Мультиколлинеарность - это коррелированность двух или нескольких объясняющих переменных в уравнении регрессии. Она может быть функциональной (явной) и стохастической (скрытой). При функциональной мультиколлинеарности матрица ХТХ - вырождена и, (ХТХ)-1 не существует, поэтому невозможно определить. Чаще мультиколлинеарность проявляется в стохастической форме, при этом МНК - оценки формально существуют, но обладают рядом недостатков:
- 1) небольшое изменение исходных данных приводит к существенному изменению оценок регрессии;
- 2) оценки имеют большие стандартные ошибки, малую значимость, в то время как модель в целом является значимой (высокое значение R2);
- 3) расширяются интервальные оценки коэффициентов, ухудшая их точность;
- 4) возможно получение неверного знака у коэффициента регрессии.
Обнаружение
Существует несколько признаков, по которым может быть установлено наличие мультиколлинеарности.
Во-первых, анализ корреляционной матрицы парных коэффициентов корреляции:
- - если имеются пары переменных, имеющих высокие коэффициенты корреляции (> 0,75 - 0,8), говорят о мультиколлинеарности между ними;
- - если факторы некоррелированы, то det Q = 1, если полная корреляция, то det Q = 0.
Можно проверить Н0: det Q = 1; используя статистический критерий
где n - число наблюдений, m = р+1.
Если, то Н0 отвергается, и мультиколлинеарность доказана.
Во-вторых, определяют множественные коэффициенты детерминации одной из объясняющих переменных и некоторой группой других. Наличие высокого R2 (> 0,6) свидетельствует о мультиколлинеарности.
В третьих, близость к нулю - минимального собственного значения матрицы ХТХ (т.е. решения уравнения) свидетельствует о близости к нулю и det(XTX) и, следовательно, о мультиколлинеарности.
В-четвертых, высокие частные коэффициенты корреляции.
где - алгебраические дополнения элементов матрицы выборочных коэффициентов корреляции. Коэффициенты частной корреляции более высоких порядков можно определить через коэффициенты частной корреляции более низких порядков по рекуррентной формуле:
В-пятых, о присутствии мультиколлинеарности говорят некоторые внешние признаки построенной модели, являющиеся её следствиями. К ним следует отнести такие:
- · некоторые из оценок имеют неправильные с точки зрения экономической теории знаки или неоправданно большие по абсолютной величине значения;
- · небольшое изменение исходных статистических данных (добавление или изъятие некоторых наблюдений) приводит к существенному изменению оценок коэффициентов модели, вплоть до изменения их знаков;
- · большинство или даже все оценки коэффициентов регрессии оказываются статистически незначимыми по t-критерию, в то время как модель в целом является значимой по F-критерию.
Существует и ряд других методов определения мультиколлинеарности.
Если основная задача модели - прогноз будущих значений зависимой переменной, то при достаточно большом коэффициенте детерминации R2 (> 0,9) наличие мультиколлинеарности обычно не сказывается на прогнозных качествах модели. Это утверждение будет обоснованным, если и в будущем между коррелированными переменными сохранятся те же соотношения.
Если целью исследования является определение степени влияния каждой из объясняющих переменных на зависимую переменную, то наличие мультиколлинеарности, приводящее к увеличению стандартных ошибок, скорее всего, исказит истинные зависимости между переменными. В этой ситуации мультиколлинеарность является серьезной проблемой.
Еще одной серьезной проблемой при построении моделей множественной линейной регрессии по МНК является мультиколлинеарность − линейная взаимосвязь двух или нескольких объясняющих переменных. Причем, если объясняющие переменные связаны строгой функциональной зависимостью, то говорят о совершенной мультиколлинеарности . На практике можно столкнуться с очень высокой (или близкой к ней) мультиколлинеарностью − сильной корреляционной зависимостью между объясняющими переменными. Причины мультиколлинеарности и способы ее устранения анализируются ниже.
10.1. Суть мультиколлинеарности
Мультиколлинеарность может быть проблемой лишь в случае множественной регрессии. Ее суть можно представить на примере совершенной мультиколлинеарности.
Пусть уравнение регрессии имеет вид
Y = β 0 + β 1 X1 + β 2 X2 + ε . |
|
Пусть также между объясняющими переменными существует |
|
строгая линейная зависимость: |
|
X2 = γ 0 + γ 1 X1 . |
|
Подставив (10.2) в (10.1), получим: |
|
Y = β 0 + β 1 X1 +β 2 (γ 0 + γ 1 X1 ) + ε |
|
или Y = (β 0 + β 2 γ 0 ) + (β 1 + β 2 γ 1 )X1 + ε .
Обозначив β 0 + β 2 γ 0 = a, β 1 + β 2 γ 1 = b, получаем уравнение парной линейной регрессии:
Y = a + b X1 + ε . |
По МНК нетрудно определить коэффициенты a и b. Тогда получим систему двух уравнений:
В 2 г 1 |
||||||||
В систему (10.4) входят три неизвестные β 0 , β 1 , β 2 (коэффициенты γ 0 и γ 1 определены в (10.2)). Такая система в подавляющем числе случаев имеет бесконечно много решений. Таким образом, совершен-
ная мультиколлинеарность не позволяет однозначно определить коэффициенты регрессии уравнения (10.1) и разделить вклады объясняющих переменных X1 и X2 в их влиянии на зависимую переменную Y. В этом случае невозможно сделать обоснованные статистические выводы об этих коэффициентах. Следовательно, в случае мультиколлинеарности выводы по коэффициентам и по самому уравнению регрессии будут ненадежными.
Совершенная мультиколлинеарность является скорее теоретическим примером. Реальна же ситуация, когда между объясняющими переменными существует довольно сильная корреляционная зависимость, а не строгая функциональная. Такая зависимость называется
несовершенной мультиколлинеарностью. Она характеризуется высо-
ким коэффициентом корреляции ρ между соответствующими объясняющими переменными. Причем, если значение ρ по абсолютной величине близко к единице, то говорят о почти совершенной мультиколлинеарности. В любом случае мультиколлинеарность затрудняет разделение влияния объясняющих факторов на поведение зависимой переменной и делает оценки коэффициентов регрессии ненадежными. Данный вывод наглядно подтверждается с помощью диаграммы Вен-
на (рис. 10.1).
X 1 X 2
X 1 X 2
На рис. 10.1, а коррелированность между объясняющими переменными Х1 и Х2 отсутствует и влияние каждой из них на Y находит отражение в наложении кругов Х1 и Х2 на круг Y. По мере усиления линейной зависимости между Х1 и Х2 соответствующие круги все больше накладываются друг на друга. Заштрихованная область отра-
жает совпадающие части влияния Х1 и Х2 на Y. На рис. 10.1, г при совершенной мультиколлинеарности невозможно разграничить степени индивидуального влияния объясняющих переменных Х1 и Х2 на зависимую переменную Y.
10.2. Последствия мультиколлинеарности
Как известно, при выполнении определенных предпосылок МНК дает наилучшие линейные несмещенные оценки (BLUE-оценки). Причем свойство несмещенности и эффективности оценок остается в силе даже, если несколько коэффициентов регрессии оказываются статистически незначимыми. Однако несмещенность фактически означает лишь то, что при многократном повторении наблюдений (при постоянных объемах выборок) за исследуемыми величинами средние значения оценок стремятся к их истинным значениям. К сожалению, повторять наблюдения в одинаковых условиях в экономике практически невозможно. Поэтому это свойство ничего не гарантирует в каждом конкретном случае. Наименьшая возможная дисперсия вовсе не означает, что дисперсия оценок будет мала по сравнению с самими оценками. В ряде случаев такая дисперсия достаточно велика, чтобы оценки коэффициентов стали статистически незначимыми.
Обычно выделяются следующие последствия мультиколлинеарности:
1. Большие дисперсии (стандартные ошибки) оценок. Это затрудняет нахождение истинных значений определяемых величин и расширяет интервальные оценки, ухудшая их точность.
2. Уменьшаются t-статистики коэффициентов, что может привести к неоправданному выводу о существенности влияния соответствующей объясняющей переменной на зависимую переменную.
3. Оценки коэффициентов по МНК и их стандартные ошибки становятся очень чувствительными к малейшим изменениям данных, т. е. они становятся неустойчивыми.
4. Затрудняется определение вклада каждой из объясняющей переменных в объясняемую уравнением регрессии дисперсию зависимой переменной.
5. Возможно получение неверного знака у коэффициента регрессии. Причину последствий 3, 4 можно наглядно проиллюстрировать
на примере регрессии (10.1). Данную регрессию можно рассматривать
как проекцию вектора Y на плоскость векторов X1 и X2 . Если между этими векторами существует тесная линейная зависимость, то угол между векторами X1 и X2 мал. В силу этого операция проектирования становится неустойчивой: небольшое изменение в исходных данных может привести к существенному изменению оценок. На рис. 10.2 векторы Y и Y′ различаются незначительно, но в силу малого угла между X1 и X2 координаты векторов Y и Y′ не только значительно различаются по величине, но и по знаку.
Y ′
10.3. Определение мультиколлинеарности
Существует несколько признаков, по которым может быть установлено наличие мультиколлинеарности.
1. Коэффициент детерминации R 2 достаточно высок, но некоторые из коэффициентов регрессии статистически незначимы, т.е. они имеют низкие t-статистики.
2. Парная корреляция между малозначимыми объясняющими переменными достаточно высока.
Однако данный признак будет надежным лишь в случае двух объясняющих переменных. При большем их количестве более целесообразным является использование частных коэффициентов корреляции.
3. Высокие частные коэффициенты корреляции.
Частные коэффициенты корреляции определяют силу линейной зависимости между двумя переменными без учета влияния на них других переменных. Однако при изучении многомерных связей в ряде случаев парные коэффициенты корреляции могут давать совершенно неверные представления о характере связи между двумя переменными. Например, между двумя переменными Х и Y может быть высокий положительный коэффициент корреляции не потому, что одна из них
стимулирует изменение другой, а оттого, что обе эти переменные изменяются в одном направлении под влиянием других переменных, как учтенных в модели, так и, возможно, неучтенных. Поэтому имеется необходимость измерять действительную тесноту линейной связи между двумя переменными, очищенную от влияния на рассматриваемую пару переменных других факторов. Коэффициент корреляции между двумя переменными, очищенными от влияния других переменных, на-
зывается частным коэффициентом корреляции.
Например, при трех объясняющих переменных X1 , X2 , X3 частный коэффициент корреляции между X1 и X2 рассчитывается по формуле:
r 12.3 |
r 12 − r 13r 23 |
||||||
− r2 )(1 |
− r 2 |
||||||
Опираясь на данную формулу, нетрудно заметить, что частный коэффициент корреляции может существенно отличаться от “обычного” коэффициента корреляции r12 . Пусть, например, r12 = 0.5; r13 = 0.5; r23 = − 0.5. Тогда частный коэффициент корреляции r12.3 = 1, т. е. при относительно невысоком коэффициенте корреляции r12 частный коэффициент корреляции r12.3 указывает на высокую зависимость (коллинеарность) между переменными X1 и X2 . Нетрудно показать, что возможна и обратная ситуация. Другими словами, для более обоснованного вывода о корреляции между парами объясняющих переменных необходимо рассчитывать частные коэффициенты корреляции.
В общем случае выборочный частный коэффициент корреляции межу переменными Xi и Xj (1 ≤ i < j ≤ m), очищенный от влияния остальных (m − 2) объясняющих переменных, символически обозначается
r ij. 1 2 … (i − 1)(i+1)…(j − 1)(j+1)…m .
Приведем без доказательства формулу расчета данного коэффициента.
Пусть эмпирические парные коэффициенты корреляции между всевозможными парами объясняющих переменных Х1 , Х2 , …, Хm представлены в виде корреляционной матрицы
R = r |
||
R3m .
... ...
−1 |
|||||||||||
c mm |
|||||||||||
С * − обратная матрица к матрице R . Тогда
r ij. 1 2 … (i − 1)(i +1)…(j − 1)(j +1)…m = |
− c * ij |
|||||||
c * ii c * jj |
||||||||
Из общей формулы (10.6) легко получаются частные формулы |
||||||||
(10.5) для трех переменных и (10.7) для четырех переменных: |
||||||||
r ij. kl = |
r ij. k − r il. k r jl. k |
|||||||
(1− r2 |
)(1 − r2 |
|||||||
il. k |
jl. k |
|||||||
Пусть rj = ryj . 1 2 …(j − 1)(j +1)…m − частный коэффициент корреляции между зависимой переменной Y и переменной Хj , очищенный от
влияния всех остальных объясняющих переменных. Тогда rj 2 − част-
ный коэффициент детерминации, который определяет процент дисперсии переменной Y, объясняемый влиянием только переменной Хj .
Другими словами, rj 2 , j = 1, 2, …,m позволяет оценить вклад каждой переменной Xj на рассеивание переменной Y.
4. Сильная вспомогательная (дополнительная) регрессия.
Мультиколлинеарность может иметь место вследствие того, что какая-либо из объясняющих переменных является линейной (или близкой к линейной) комбинацией других объясняющих переменных. Для данного анализа строятся уравнения регрессии каждой из объясняющих переменных Xj , j = 1, 2, … , m на оставшиеся объясняющие переменные вспомогательные регрессии. Вычисляются соответствующие коэффициенты детерминации Rj 2 и рассчитывается их статистическая значимость на основе F-статистики
R2 j |
n − m |
||||||
− R 2 j |
m − 1 |
||||||
Здесь n − число наблюдений, m − число объясняющих переменных в первоначальном уравнении регрессии. Статистика F имеет распределение Фишера с ν 1 = m − 1 и ν 2 = n − m степенями свободы. Данная формула аналогична формуле (6.36). Если коэффициент Rj 2 статистически незначим, то Xj не является линейной комбинацией других переменных и ее можно оставить в уравнении регрессии. В противном случае есть основания считать, что Xi существенно зависит от других объясняющих переменных, и имеет место мультиколлинеарность.
Существует и ряд других методов определения мультиколлинеарности, описание которых выходит за рамки данной книги.
10.4. Методы устранения мультиколлинеарности
Прежде чем указать основные методы устранения мультиколлинеарности, отметим, что в ряде случаев мультиколлинеарность не является таким уж серьезным злом, чтобы прилагать серьезные усилия по ее выявлению и устранению. Ответ на этот вопрос в основном зависит от целей исследования.
Если основная задача модели − прогноз будущих значений зависимой переменной, то при достаточно большом коэффициенте детерминации R2 (≥ 0.9) наличие мультиколлинеарности зачастую не сказывается на прогнозных качествах модели. Хотя это утверждение будет обоснованным лишь в том случае, что и в будущем между коррелированными переменными будут сохраняться те же отношения, что и ранее.
Если же целью исследования является определение степени влияния каждой из объясняющих переменных на зависимую переменную, то наличие мультиколлинеарности, приводящее к увеличению стандартных ошибок, скорее всего, исказит истинные зависимости между переменными. В этой ситуации мультиколлинеарность представляется серьезной проблемой.
Отметим, что единого метода устранения мультиколлинеарности, годного в любом случае, не существует. Это связано с тем, что причины и последствия мультиколлинеарности неоднозначны и во многом зависят от результатов выборки.
10.4.1. Исключение переменной(ых) из модели
Простейшим методом устранения мультиколлинеарности является исключение из модели одной или ряда коррелированных переменных.
Однако необходима определенная осмотрительность при применении данного метода. В этой ситуации возможны ошибки спецификации. Например, при исследовании спроса на некоторое благо в качестве объясняющих переменных можно использовать цену данного блага и цены заменителей данного блага, которые зачастую коррелируют друг с другом. Исключив из модели цены заменителей, мы, скорее всего, допустим ошибку спецификации. Вследствие этого возможно получение смещенных оценок и осуществление необоснованных выводов. Таким образом, в прикладных эконометрических моделях желательно не исключать объясняющие переменные до тех пор, пока коллинеарность не станет серьезной проблемой.
10.4.2. Получение дополнительных данных или новой выборки
Поскольку мультиколлинеарность напрямую зависит от выборки, то, возможно, при другой выборке мультиколлинеарности не будет либо она не будет столь серьезной.
Иногда для уменьшения мультиколлинеарности достаточно увеличить объем выборки. Например, при использовании ежегодных данных можно перейти к поквартальным данным. Увеличение количества данных сокращает дисперсии коэффициентов регрессии и тем самым увеличивает их статистическую значимость. Однако получение новой выборки или расширение старой не всегда возможно или связано с серьезными издержками. Кроме того, данный подход может усилить автокорреляцию. Эти проблемы ограничивают возможность использования данного метода.
10.4.3. Изменение спецификации модели
В ряде случаев проблема мультиколлинеарности может быть решена изменением спецификации модели: либо изменением формы модели, либо добавлением объясняющих переменных, которые не учтены в первоначальной модели, но существенно влияющие на зависимую переменную. Если данный метод имеет основания, то его использование уменьшает сумму квадратов отклонений, тем самым сокращая стандартную ошибку регрессии. Это приводит к уменьшению стандартных ошибок коэффициентов.
10.4.4. Использование предварительной информации
о некоторых параметрах
Иногда при построении модели множественной регрессии можно воспользоваться некоторой предварительной информацией, в частно-
сти, известными значениями некоторых коэффициентов регрессии. Вполне вероятно, что значения коэффициентов, полученные для ка- ких-либо предварительных (обычно более простых) моделей, либо для аналогичной модели по ранее полученной выборке, могут быть использованы для разрабатываемой в данный момент модели.
Для иллюстрации приведем следующий пример. Строится регрессия вида (10.1). Предположим, что переменные X1 и X2 коррелированны. Для ранее построенной модели парной регрессии Y = γ 0 +
+ γ 1 X1 +υ был определен статистически значимый коэффициент γ 1 (для определенности пусть γ 1 = 0.8), связывающий Y с X1 . Если есть основания думать, что связь между Y и X1 останется неизменной, то можно положить γ 1 = β 1 = 0.8. Тогда (10.1) примет вид:
Y = β 0 + 0.8X1 + β 2 X2 + ε . |
|
Y – 0.8X1 = β 0 + β 2 X2 + ε . |
Уравнение (10.9) фактически является уравнением парной регрессии, для которого проблема мультиколлинеарности не существует.
Ограниченность использования данного метода обусловлена тем, что, во-первых, получение предварительной информации зачастую затруднительно, а во-вторых, вероятность того, что выделенный коэффициент регрессии будет одним и тем же для различных моделей, невысока.
10.4.5. Преобразование переменных
В ряде случаев минимизировать либо вообще устранить проблему мультиколлинеарности можно с помощью преобразования переменных.
Например, пусть эмпирическое уравнение регрессии имеет вид
Y = b0 + b1 X1 + b2 X2 , |
причем X1 и X2 − коррелированные переменные. В этой ситуации можно попытаться определять регрессионные зависимости относительных величин
1 X 1 |
||||||||||
1 X 2 |
||||||||||
Вполне вероятно, что в моделях, аналогичных (10.11), проблема мультиколлинеарности будет отсутствовать.
Возможны и другие преобразования, близкие по своей сути к вышеописанным. Например, если в уравнении рассматриваются взаимосвязи номинальных экономических показателей, то для снижения мультиколлинеарности можно попытаться перейти к реальным показателям и т. п.
Вопросы для самопроверки
1. Объясните значение терминов “коллинеарность” и “мультиколлинеарность”.
2. В чем различие между совершенной и несовершенной мультиколлинеарностью?
3. Каковы основные последствия мультиколлинеарности?
4. Как можно обнаружить мультиколлинеарность?
5. Как оценивается коррелированность между двумя объясняющими переменными?
6. Перечислите основные методы устранения мультиколлинеарности.
7. Какие из следующих утверждений истинны, ложны или не определены? Ответ поясните.
а) При наличии высокой мультиколлинеарности невозможно оценить статистическую значимость коэффициентов регрессии при коррелированных переменных.
б) Наличие мультиколлинеарности не является препятствием для получения по МНК BLUE-оценок.
в) Мультиколлинеарность не является существенной проблемой, если основная задача построенной регрессионной модели состоит в прогнозировании будущих значений зависимой переменной.
г) Высокие значения коэффициентов парной корреляции между объясняю-
щими переменными не всегда являются признаками мультиколлинеарности. д) Так как Х2 является строгой функцией от Х, то при использовании обеих переменных в качестве объясняющих возникает проблема мультиколлинеарности.
е) При наличии мультиколлинеарности оценки коэффициентов остаются не-
смещенными, но их t-статистики будут слишком низкими.
ж) Коэффициент детерминации R2 не может быть статистически значимым, если все коэффициенты регрессии статистически незначимы (имеют низкие t- статистики).
з) Мультиколлинеарность не приводит к получению смещенных оценок коэффициентов, но ведет к получению смещенных оценок для дисперсий коэф-
фициентов.
и) В регрессионной модели Y = β 0 + β 1 X1 + β 2 X2 + ε наличие мультиколлинеарности можно обнаружить, если вычислить коэффициент корреляции между Х1 и Х2 .
8. Пусть по МНК оценивается уравнение регрессии Y = β 0 + β 1 X1 + β 2 X2 + ε . Для большинства выборок наблюдается высокая коррелированность между
X1 и X2 . Пусть коррелированности между этими переменными не наблюдается. Коэффициенты регрессии оцениваются по данной выборке. Будут ли в этом случае оценки несмещенными? Будут ли несмещенными оценки дисперсий найденных эмпирических коэффициентов регрессии?
9. Объясните логику отбрасывания объясняющей переменной с целью устранения проблемы мультиколлинеарности.
10. Пусть в уравнении регрессии Y = β 0 + β 1 X1 + β 2 X2 + ε переменные X1 и X2
сильно коррелированны. Строится уравнение регрессии X2 на X1 , случайные отклонения от которой обозначим через υ . Строится новое уравнение регрес-
сии с зависимой переменной Y и двумя объясняющими переменными − Х2 и υ . Будет ли решена таким образом проблема мультиколлинеарности?
Упражнения и задачи
1. Имеется выборка из 10 наблюдений за переменными X 1 , X2 , Y:
а) Можно ли по этим данным по МНК оценить коэффициенты регрессии с двумя объясняющими переменными. Ответ поясните.
б) В случае отрицательного ответа на вопрос а) предложите преобразования, которые позволят оценить коэффициенты регрессии.
2. По выборке n = 50 для X 1 , Х2 , X3 построена следующая корреляционная матрица
− 0.35 |
||||
− 0.35 |
||||
эффициентов корреляции r12.3 , r23.1 , r13.2 .
б) При рассмотрении какой регрессии будет иметь место мультиколлинеарность?
3. После оценки уравнения регрессии Y = b 0 + b1 X1 + b2 X2 + e был рассчитан коэффициент корреляции rx 1 x 2 = 0. Были рассчитаны уравнения парной
регрессии: Y = с0 + с1 X1 + υ ; Y = d0 + d2 X2 + ϖ .
Можно ли ожидать, что будут выполняться следующие соотношения:
а) b1 = с1 ; b2 = d2 ;
б) b0 равен либо с0 , либо d0 , либо некоторой их комбинации;
в) S(b1 ) = S(с1 ); S(b2 ) = S(d2 ) .
а) Постройте уравнение регрессии INV = b0 + b1 GNP + b2 CONS + e. б) Оцените качество построенного уравнения.
в) Можно ли было ожидать при построении данного уравнения наличия мультиколлинеарности? Ответ поясните.
г) Имеет ли место мультиколлинеарность для построенного вами уравнения? Как вы это определили?
д) Постройте уравнения регрессии INV на GNP и INV на CONS. Какие выводы можно сделать по построенным моделям?
е) Постройте уравнение регрессии CONS на GNP. Что обнаруживает построенная модель?
ж) Как можно решить проблему мультиколлинеарности для первоначальной модели?
5. Пусть исследуется вопрос о среднем спросе на кофе AQ (в граммах на одно-
го человека). В качестве объясняющих переменных предполагается использовать следующие переменные: PC − индекс цен на кофе, lnYD − логарифм от реального среднедушевого дохода, POP − численность населения, PT − индекс цен на чай. Можно ли априори предвидеть, будут ли в этом случае
значимыми все t-статистики и будет ли высоким коэффициент детерминации R2 ? Какими будут ваши предложения по уточнению состава объясняющих переменных.
6. Пусть рассматривается следующая модель:
CONSt = β 0 + β 1 GNPt + β 2 GNPt − 1 +β 3 (GNPt − GNPt − 1 ) + ε ,
где CONSt − объем потребления в момент времени t; GNPt , GNPt − 1 − объемы ВНП в моменты времени t и t− 1 соответственно.
а) Что утверждается в данной модели?
б) Можно ли по МНК оценить все коэффициенты указанного уравнения регрессии?
в) Какой из коэффициентов и вследствие чего нельзя оценить?
г) Решит ли проблему оценки исключение из модели переменной GNPt или переменной GNPt − 1 ? Ответ поясните.
