Автокорреляция остатков обычно встречается в регрессионном анализе при использовании данных временных рядов. Поэтому в дальнейших выкладках вместо символа i используется символ t, отражающий момент наблюдения, объем выборки при этом будем обозначать символом T. В экономических задачах значительно чаще встречается так называемая положительная автокорреляция (), нежели отрицательная автокорреляция ().
В большинстве случаев положительная автокорреляция вызывается направленным постоянным воздействием некоторых неучтенных в модели факторов.
Среди основных причин, вызывающих появление автокорреляции, можно выделить ошибки спецификации, инерцию в изменении экономических показателей, эффект паутины, сглаживание данных.
Последствия автокорреляции в определенной степени сходны с последствиями гетероскедастичности. Среди них при применении МНК обычно выделяют следующие:
1. Оценки параметров, оставаясь линейными и несмещенными, перестают быть эффективными. Следовательно, они перестают обладать свойствами наилучших линейных несмещенных оценок (BLUE-оценок).
2. Дисперсии оценок являются смещенными. Часто дисперсии, вычисляемые по стандартным формулам, являются заниженными, что влечет за собой увеличение -статистик. Это может привести к признанию статистически значимыми объясняющие переменные, которые в действительности таковыми могут и не являться.
3. Оценка дисперсии регрессии 
является смещенной оценкой истинного значения , во многих случаях занижая его.
4. В силу вышесказанного выводы по - и -статистикам, определяющим значимость коэффициентов регрессии и коэффициента детерминации, возможно, будут неверными. Вследствие этого ухудшаются прогнозные качества модели.
В силу неизвестности значений параметров уравнения регрессии неизвестными будут также и истинные значения отклонений . Поэтому выводы об их независимости осуществляются на основе оценок , полученных из эмпирического уравнения регрессии. Рассмотрим возможные методы определения автокорреляции.
1) Графический метод.
Существует несколько вариантов графического определения автокорреляции. Один из них, увязывающий отклонения с моментами их получения (их порядковыми номерами ), приведен на рис. 5.5. Это так называемые последовательно-временные графики. В этом случае по оси абсцисс обычно откладываются либо время (момент) получения статистических данных, либо порядковый номер наблюдения, а по оси ординат – отклонения (либо оценки отклонений ).
Рис. 5. 5
Естественно предположить, что на рис. 5.5, а-г имеются определенные связи между отклонениями, т.е. автокорреляция имеет место. Отсутствие зависимости на рис. 5.5,д скорее всего свидетельствует об отсутствии автокорреляции.
Например, на рис. 5.5,б отклонения вначале в основном отрицательные, затем положительные, потом снова отрицательные. Это свидетельствует о наличии между отклонениями определенной зависимости. Более того, можно утверждать, что в этом случае имеет место положительная автокорреляция остатков. Она становится весьма наглядной, если график 5.5,б дополнить графиком зависимости от (рис. 5.6).
Рис. 5. 6
Подавляющее большинство точек на этом графике расположено в I и III четвертях декартовой системы координат, подтверждая положительную зависимость между соседними отклонениями.
Следует заметить, что в современных компьютерных прикладных программах для решения задач по эконометрике аналитическое выражение регрессии дополняется графическим представлением результатов. На график реальных колебаний зависимой переменной накладывается график колебаний переменной по уравнению регрессии. Сопоставив эти два графика, можно выдвинуть гипотезу о наличии автокорреляции остатков. Если эти графики пересекаются редко, то можно предположить наличие положительной автокорреляции остатков.
2) метод рядов.
Этот метод достаточно прост: последовательно определяются знаки отклонений . Например,
(-----)(+++++++)(---)(++++)(-),
т.е. 5 «-», 7 «+», 3 «-», 4 «+», 1 «-» при 20 наблюдениях.
Ряд определяется как непрерывная последовательность одинаковых знаков. Количество знаков в ряду называется длиной ряда .
Визуальное распределение знаков свидетельствует о неслучайном характере связей между отклонениями. Если рядов слишком мало по сравнению с количеством наблюдений , то вполне вероятна положительная автокорреляция. Если же рядов слишком мало, то вероятна отрицательная автокорреляция. Для более детального анализа предлагается следующая процедура. Пусть
– объем выборки;
– общее количество знаков «+» при наблюдениях (количество положительных отклонений );
– общее количество знаков «-» при наблюдениях (количество положительных отклонений );
– количество рядов.
При достаточно большом количестве наблюдений () и отсутствии автокорреляции СВ имеет асимптотически нормальное распределение с
Тогда, если , то гипотеза об отсутствии автокорреляции не отклоняется.
Для небольшого числа наблюдений () Свед и Эйзенхарт разработали таблицы критических значений количества рядов при наблюдениях. Суть таблиц в следующем.
На пересечении строки и столбца определяются нижнее и верхнее значения при уровне значимости .
При установлении автокорреляции необходимо в первую очередь
проанализировать правильность спецификации модели.Если после ряда
усовершенсвований регрессии автокорреляция по-прежнему имеет место, то возможны определенные преобразования, устраняющие автокорреляцию. Среди них выделяется авторегрессионная схема первого порядка AR(1).
1. В чем суть гетероскедастичности?
2. Приведите аргументы в пользу графического теста, теста Парка и теста Глейзера.
3. Приведите схему теста Голдфельда-Квандта.
4. В чем суть метода взвешенных наименьших квадратов (ВНК)?
5. Что такое автокорреляция?
6. Назовите основные причины автокорреляции.
7. Перечислите основные методы обнаружения автокорреляции.
8. Каковы последствия автокорреляции?
Рассматривая последовательность остатков как временной ряд, можно построить график их зависимости от времени. В соответствии с предпосылками МНК остатки должны быть случайными. Однако при моделировании временных рядов нередко встречается ситуация, когда остатки содержат тенденцию или циклические колебания. Это свидетельствует о том, что каждое следующее значение остатков зависит от предшествующих. В этом случае говорят об автокорреляции остатков.
Автокорреляция в остатках может быть вызвана несколькими причинами, имеющими различную природу.
- 1. Она может быть связана с исходными данными и вызвана наличием ошибок измерения в значениях результативного признака.
- 2. В ряде случаев автокорреляция может быть следствием неправильной спецификации модели. Модель может не включать фактор, который оказывает существенное воздействие на результат и влияние которого отражается в остатках, вследствие чего последние могут оказаться автокоррелированными.
Существуют два наиболее распространенных метода определения автокорреляции остатков:
- 1) построение графика зависимости остатков от времени и визуальное определение наличия или отсутствия автокорреляции.
- 2) использование критерия Дарбина -- Уотсона и расчет величины:
Таким образом, d есть отношение суммы квадратов разностей последовательных значений остатков к остаточной сумме квадратов по модели регрессии.
Алгоритм выявления автокорреляции остатков на основе критерия Дарбина -- Уотсона следующий. Выдвигается гипотеза Н0 об отсутствии автокорреляции остатков. Альтернативные гипотезы Н1 и Н1* состоят, соответственно, в наличии положительной или отрицательной автокорреляции в остатках.
Далее по специальным таблицам определяются критические значения критерия Дарбина -- Уотсона dL и dU для заданного числа наблюдений n, числа независимых переменных модели k и уровня значимости б . По этим значениям числовой промежуток разбивают на пять отрезков. Принятие или отклонение каждой из гипотез с вероятностью осуществляется следующим образом:
есть положительная автокорреляция. Принимается гипотеза H1 с вероятностью (1- б ).
зона неопределенности.
автокорреляция остатков нет.
зона неопределенности.
есть отрицательная автокорреляция. Принимается гипотеза H1* с вероятностью (1-б).
Если фактическое значение критерия Дарбина -- Уотсона попадает в зону неопределенности, то на практике предполагают существование автокорреляции остатков и отклоняют гипотезу Hо.
Есть несколько существенных ограничений на применение критерия Дарбина -- Уотсона:
- 1. Он неприменим к моделям, включающим в качестве независимых переменных лаговые значения результативного признака, т.е. к моделям авторегрессии.
- 2. Методика расчета и использования критерия Дарбина-Уотсона направлена только на выявление автокорреляции остатков первого порядка.
- 3. Критерий Дарбина-Уотсона дает достоверные результаты только для больших выборок.
В эконометрических исследованиях часто возникают ситуации, когда дисперсия остатков постоянна, но наблюдается статистическая зависимость остатков эконометрической модели между собой. Это явление называют автокорреляцией остатков .
В общем случае автокорреляция (последовательная корреляция) – это взаимосвязь упорядоченных во времени или в пространстве последовательных элементов соответственно временного или пространственного ряда данных.
На рис.5.5 показана зависимость Y от X , а также линия оцененного по этим данным уравнения парной линейной регрессии. Уже по рисунку видно, что оцененная регрессия не очень хороша: зависимость Y от X явно нелинейна. Если использовать проведенную регрессионную прямую, скажем, для прогнозирования дальнейшей динамики Y , результат будет неудовлетворительным.
Рис.5.5. К вопросу об автокорреляции остатков
Как же можно выразить формально неудовлетворительность полученного уравнения регрессии?
Мы видим, например, на рис.5.5, что в этом случае отклонения от линии регрессии не случайно распределены вокруг нее, а обладают определенной закономерностью. Эта закономерность, в частности, выражается в одинаковом, как правило, знаке каждых двух соседних отклонений . Это может являться следствием:
Неверной спецификации модели (ввиду нелинейного характера связи переменных);
Воздействием какого-то фактора, не включенного в модель в качестве объясняющей переменной. Величина такого неучтенного фактора может менять свою динамику в рассматриваемый период, отклоняясь в достаточно длительные промежутки времени в ту или иную сторону от своего среднего значения. Это, очевидно, может служить причиной длительных устойчивых отклонений зависимой переменной от линии регрессии.
Обе указанные причины свидетельствуют о том, что существует возможность улучшить уравнение регрессии путем оценивания какой-то новой нелинейной формулы или включения некоторой новой объясняющей переменной.
Зависимость, показанная на рис.5.5, очевидно, нелинейна. Но это – крайний случай. Далеко не всегда бывает столь же очевидно, что отклонения от регрессионной прямой имеют неслучайный, закономерный характер. Для оценки степени такой неслучайности необходимо ввести количественную меру .
Итак, одним из основных предполагаемых свойств отклонений наблюдаемых значений от регрессионной формулы является их статистическая независимость между собой .
Мы рассмотрим наиболее простую модель, в которой ошибки образуют так называемый авторегрессионный процесс первого порядка , т.е. когда ошибки зависят только от ошибок предыдущего периода. Применение обычного метода наименьших квадратов в этом случае дает несмещенные и состоятельные оценки параметров, однако можно показать, что оценка дисперсии оказывается смещенной вниз , что может отрицательно сказаться при проверке гипотез о значимости оценок параметров. Образно говоря, МНК рисует более оптимистичную картину, чем есть на самом деле.
Следовательно, последствия автокорреляции состоят в том, что:
- оценка дисперсии при использовании МНК является заниженной .
Большинство тестов на наличие автокорреляции в ошибках модели (наиболее широко используется тест Дарбина-Уотсона ) используют следующую идею: если корреляция есть у ошибок , то она присутствует и в остатках , получаемых после применения к модели обычного метода наименьших квадратов.
То есть, поскольку значения ошибок остаются неизвестными ввиду неизвестности истинных значений параметров модели, то проверяется статистическая независимость их аналогов – отклонений . При этом проверяется обычно их некоррелированность (являющаяся необходимым, но недостаточным атрибутом независимости ), причем некоррелированность не любых, а соседних величин .
- соседние во времени значения (в случае временных рядов);
- соседние по возрастанию переменной Х значения (в случае перекрестных выборок).
“Первого порядка ” означает, что остатки зависят только от остатков предыдущего периода.
Практически, однако, используют тесно связанную с статистику Дарбина-Уотсона, обозначаемую как DW-статистика или как d‑статистика , и рассчитываемую по формуле:
. (5.13)
.
Вернемся еще раз к предположению (3.3). Из него, в частности, следует, что ковариации случайной ошибки для разных наблюдений равны нулю. Если к тому же случайные ошибки распределены нормально, то это означает их попарную независимость.
Однако регрессионные модели в экономике часто содержат стохастические зависимости между значениями случайных ошибок – автокорреляцию ошибок . Ее причинами являются: во-первых, влияние некоторых случайных факторов или опущенных в уравнении регрессии важных объясняющих переменных, которое не является однократным, а действует в разные периоды времени; во-вторых, случайный член может содержать составляющую, учитывающую ошибку измерения объясняющей переменной.
Применение к модели с автокорреляцией остатков обыкновенного МНК приведет к следующим последствиям :
1. Выборочные дисперсии полученных оценок коэффициентов будут больше по сравнению с дисперсиями по альтернативным методам оценивания, т.е. оценки коэффициентов будут неэффективны.
2. Стандартные ошибки коэффициентов будут оценены неправильно, чаще всего занижены, иногда настолько, что нет возможности воспользоваться для проверки гипотез соответствующими точными критериями – мы будем чаще отвергать гипотезу о незначимости регрессии, чем это следовало бы делать в действительности.
3. Прогнозы по модели получаются неэффективными.
На практике исследователь в этом случае поставлен перед проблемой тестирования наличия в модели автокорреляции, а также выявления причины автокорреляции при ее обнаружении: или в модели опущена существенная переменная, или структура ошибок зависит от времени. То есть, исследование остатков позволяет судить о правильности модели и ее пригодности для прогнозирования.
Простейшим способом проверки наличия автокорреляции является графическое изображение остатков e i . Возможно построение:
· графика временной последовательности, если остатки получены в разные моменты времени;
· графика зависимости остатков от значений , полученных по регрессии;
· графиков зависимости остатков от объясняющих переменных.
Если изображение остатков представляет собой горизонтальную полосу, это указывает на отсутствие каких-либо проблем, связанных с моделью. В противном случае в зависимости от вида и типа графика можно получить информацию о: неадекватности модели, ошибочности расчетов, необходимости включения в модель линейного или квадратичного члена от времени; наконец о непостоянстве дисперсии.
Ясно, что ошибки могут коррелировать по-разному, однако без нарушения общности можно рассматривать так называемую сериальную корреляцию (автокорреляцию), когда зависимость между ошибками, отстоящими на некоторое количество шагов s , называемое порядком корреляции (в частности, на один шаг, s =1), остается одинаковой, что хорошо проявляется визуально на графике в системе координат (e i ; e i - s ). Например, для s =1 на рис. 4.2 показаны отрицательная (слева) и положительная (справа) автокорреляция остатков. В экономических исследованиях чаще всего встречается положительная автокорреляция.
 |  |
||
Рис. 4.2. Автокорреляция остатков
Более достоверным способом проверки существования автокорреляции является применение статистических критериев. Хорошо известны два – критерий знаков (относится к непараметрическим критериям) и критерий Дарбина-Уотсона .
Для проведения проверки по критерию знаков необходимо расположить остатки e i во временной последовательности, выписать их знаки, подсчитать число образующихся при этом серий n u из одинаковых знаков, а также n 1 – число остатков со знаком плюс и n 2 – число остатков со знаком минус. Далее определяется вероятность Pr (n u ) появления n u групп при нулевой гипотезе – последовательность остатков полностью случайна (автокорреляция отсутствует). Если Pr (n u ) < 1–a , где a – уровень доверия, то нулевая гипотеза отвергается.
Для ускорения расчетов для выборок с n 1 , n 2 не больше 20 составлены таблицы с критическими значениями n u при уровне доверия a =0,05.
Для больших выборок истинное распределение ошибок достаточно точно аппроксимируется нормальным со средним m
=2n
1 n
2 /(n
1 +n
2)+1 и дисперсией s 2
=2n
1 n
2 (2n
1 n
2 – n
1 – n
2)/(n
1 + n
2) 2 /(n
1 + n
2 – 1), а величина z
=(u
– m
+ 0,5)/s
подчиняется нормированному нормальному распределению, следовательно, критические значения n u
могут быть вычислены по формулам (m
+ z a s
) и (m
– z a s
), где z a
определяется из условия F
0 (z a
)=(1–a
)/2 (значения 
даны в справочниках).
Пример . Получены остатки 0,6; 1,9; –1,8; –2,7; –2,9; 1,4; 3,3; 0,3; 0,8; 2,3; –1,4; –1,1, которые обнаруживают следующую последовательность знаков + + – – – + + + + + – –. Имеем n u =4, n 1 =7, n 2 =5. По таблице находим критические значения для n u : 3 и 11. Так как 3 < n u < 11, то нулевая гипотеза принимается, то есть остатки независимы и автокорреляция отсутствует.Ñ
Критерий знаков достаточно прост и не использует информацию о величине e i , и поэтому недостаточно эффективен.
Для проверки гипотезы о существовании линейной автокорреляции первого порядка, которая чаще всего имеет место на практике, предпочтителен критерий Дарбина-Уотсона , основанный на статистике:
(4.9)
Значения первых разностей ошибки в (4.9) будут обнаруживать тенденцию к уменьшению по абсолютной величине по сравнению с абсолютными значениями e i при положительной автокорреляции и к увеличению при отрицательной автокорреляции.
Для статистики d имеются верхний d U и нижний d L пределы уровня значимости. Различные статистические решения для нулевой гипотезы H 0: автокорреляция равна нулю, даны в табл. 4.3. При этом появляются области неопределенности, так как величина e i зависит не только от значений u , но и от значений последовательных X .
Следует отметить, что критерий Дарбина-Уотсона предназначен для моделей с детерминированными (нестохастическими) регрессорами X и не применим, например, в случаях, когда среди объясняющих переменных есть лаговые значения переменной Y .
Таблица 4.3
Области статистических решений для критерия Дарбина-Уотсона
Пример . Для примера 1 из п. 3.2 n =20, k =2 имеем табл. 4.4.
Значения d L и d U при уровне значимости 5% получим из справочника при n =20 и k =2: d L =1,10, d U =1,54.
Так как d >2, то вычисляем 4–d U =2,46 и 4–d L =2,90 и 2<d <4–d U .
Согласно табл. 4.3 гипотеза о равенстве нулю автокорреляции принимается. Ñ
Какой бы тест на автокорреляцию не использовался, необходимо помнить, что рекомендуется в случаях неопределенности (см. табл. 4.3) принимать гипотезу о наличии автокорреляции, поскольку это гарантирует от отрицательных последствий автокорреляции. В случаях же некорректного принятия гипотезы о равенстве нулю автокорреляции получаем модель, которая не может иметь удовлетворительного применения, хотя формально проходит все проверки.
Таблица 4.4
Вычисление значения статистики d
| Ошибка e i | e i 2 | e i-1 | ( e i -e i-1 ) 2 | Ошибка e i | e i 2 | e i -1 | (e i -e i -1) 2 |
| -2,49 | 6,20 | -0,68 | 0,46 | -8,72 | 64,64 | ||
| -1,86 | 3,46 | -2,49 | 0,40 | 5,27 | 27,72 | -0,68 | 35,40 |
| 31,93 | 1019,21 | -1,86 | 1141,76 | -5,29 | 27,93 | 5,27 | 111,51 |
| -3,18 | 10,11 | 31,93 | 1232,71 | -16,74 | 280,23 | -5,29 | 131,10 |
| -2,17 | 4,71 | -3,18 | 1,02 | 8,94 | 79,87 | -16,74 | 659,46 |
| -18,38 | 337,64 | -2,17 | 262,76 | -3,57 | 12,74 | 8,94 | 156,50 |
| -3,45 | 11,90 | -18,38 | 222,90 | 5,18 | 26,79 | -3,57 | 76,56 |
| 5,58 | 31,14 | -3,45 | 81,54 | 7,72 | 59,60 | 5,18 | 6,45 |
| -3,11 | 9,67 | 5,58 | 75,52 | -0,85 | 0,72 | 7,72 | 73,44 |
| -8,72 | 76,04 | -3,11 | 31,47 | 4,85 | 23,47 | -0,85 | 32,49 |
| Сумма | 2050,37 | 4397,66 |
Рассмотрим методы оценивания уравнения регрессии при наличии автокорреляции остатков.
Пусть имеем обобщенную линейную модель множественной регрессии в виде (4.3)-(4.7) с гомоскедастичными остатками .
Предположим, что остатки u i удовлетворяют следующему уравнению:
u i =ru i -1 +e i , i =2,...,n , (4.10)
E
(e i
)=0; 
(4.11)
Тогда несложно показать, что будет выполняться:
. (4.12)
Условие (4.12) является аналогом (4.5) и фактически означает гомоскедастичность дисперсии случайного члена (первая строчка) и автокорреляцию первого порядка (вторая строчка). Ясно, что если бы было известно значение r в (4.10) и затем в (4.12), то можно было бы применить ОМНК (элементы матрицы W в этом случае вычисляются согласно (4.12)) и получить эффективные оценки коэффициентов регрессии. Однако на практике значение r в большинстве случаев не известно, поэтому используются следующие методы оценивания регрессионной модели.
Метод 1 . Отказавшись от определения величины r , являющейся узким местом модели, статистически, можно положить r =0,5; 1 или -1. Однако даже грубая статистическая оценка будет, видимо, более эффективной, поэтому другой способ определения r с помощью статистики Дарбина-Уотсона r»1–0,5d . Применяя затем непосредственно ОМНК, получим оценки коэффициентов.
Метод 2 . Если значение r в (4.12) задано, то альтернативная схема отыскания оценок коэффициентов модели множественной регрессии суть (в целях упрощения, не нарушая общности, иллюстрация метода дана для случая парной регрессии):
а) Запишем уравнение модели для случая i и i –1:
Вычтем из обеих частей первого уравнения умноженное на r второе уравнение:
Метод 3 . Итеративная процедура Кохрейна-Оркатта.
а) Оценивается регрессия с исходными не преобразованными данными с помощью обыкновенного МНК.
б) Вычисляются остатки e i .
в) Оценивается регрессия e i =re i -1 +e i , и коэффициент при e i -1 дает оценку r .
г) С учетом полученной оценки r
уравнение преобразовывается к виду (4.13), оценивание которого позволяет получить пересмотренные оценки коэффициентов b
0 и b
1 .
д) Вычисляются остатки регрессии (4.13) и процесс выполняется снова, начиная с этапа в).
Итерации заканчиваются, когда абсолютные разности последовательных значений оценок коэффициентов b 0 , b 1 и r будут меньше заданного числа (точности).
Подобная процедура оценивания порождает проблемы, касающиеся сходимости итерационного процесса и характера найденного минимума: локальный или глобальный.
Метод 4. Метод Хилдрета-Лу основан на тех же принципах, что и рассмотренный метод 3, но использует другой алгоритм вычислений. Здесь регрессия (4.13) оценивается МНК для каждого значения r из диапазона [-1, 1] с некоторым шагом внутри него. Значение, которое дает минимальную стандартную ошибку для преобразованного уравнения (4.13), принимается в качестве оценки r , а коэффициенты регрессии определяются при оценивании уравнения (4.13) с использованием этого значения.
Метод 5. Дарбиным была предложена простая схема, дающая эффективные оценки коэффициентов:
а). Подставляя (4.10) в модель Y i =b 0 +b 1 X i +u i , получим с учетом u i - 1 = Y i -1 - b 0 - b 1 X i -1:
Y i =b 0 (1-r )+rY i -1 +b 1 (X i - rX i -1) + e i ,
где ошибка e i удовлетворяет (4.11). Применяя обыкновенный МНК к последней модели, получаем оценку r как коэффициента при Y i -1 .
б). Вычисляем значения преобразованных переменных и применяем к ним обыкновенный МНК. Получаем искомые оценки коэффициентов регрессии.
Достоинством метода является простота его распространения на случай автокорреляции более высокого порядка.
Как показывают эксперименты, проведенные для малых выборок, лучшим является двухшаговый метод 2, использующий оценку r , полученную по методу, предложенному Дарбиным (метод 5 шаг а)).
