Обобщенный метод наименьших квадратов - Generalized least squares

В статистика, обобщенный метод наименьших квадратов (GLS) - метод оценки неизвестного параметры в линейная регрессия модель, когда есть определенная степень корреляция между остатки в регрессионная модель. В этих случаях, обыкновенный метод наименьших квадратов и взвешенный метод наименьших квадратов может быть статистически неэффективный, или даже ввести в заблуждение выводы. GLS был впервые описан Александр Айткен в 1936 г.^[1]

Схема метода

В стандартной линейная регрессия модели мы наблюдаем данные ${displaystyle {y_{i},x_{ij}}_{i=1,dots ,n,j=2,dots ,k}}$ на п статистические единицы. Значения ответа помещаются в вектор ${displaystyle mathbf {y} =left(y_{1},dots ,y_{n}ight)^{mathsf {T}}}$, а значения предикторов помещаются в матрица дизайна ${displaystyle mathbf {X} =left(mathbf {x} _{1}^{mathsf {T}},dots ,mathbf {x} _{n}^{mathsf {T}}ight)^{mathsf {T}}}$, где ${displaystyle mathbf {x} _{i}=left(1,x_{i2},dots ,x_{ik}ight)}$ вектор k переменные-предикторы (включая константу) для яй блок. Модель заставляет условное среднее из ${displaystyle mathbf {y} }$ данный ${displaystyle mathbf {X} }$ быть линейной функцией ${displaystyle mathbf {X} }$, и предполагает условное отклонение приведенного срока ошибки ${displaystyle mathbf {X} }$ это известный неособый ковариационная матрица ${displaystyle mathbf {Omega } }$. Обычно это записывается как

${displaystyle mathbf {y} =mathbf {X} mathbf {eta } +mathbf {varepsilon } ,qquad operatorname {E} [varepsilon mid mathbf {X} ]=0, operatorname {Cov} [varepsilon mid mathbf {X} ]=mathbf {Omega } .}$

Здесь ${displaystyle eta in mathbb {R} ^{k}}$ представляет собой вектор неизвестных констант (известных как «коэффициенты регрессии»), которые необходимо оценить на основе данных.

Предположим ${displaystyle mathbf {b} }$ это примерная оценка для ${displaystyle mathbf {eta } }$. Тогда остаточный вектор для ${displaystyle mathbf {b} }$ будет ${displaystyle mathbf {y} -mathbf {X} mathbf {b} }$. Оценки методом обобщенных наименьших квадратов ${displaystyle mathbf {eta } }$ путем минимизации квадрата Длина Махаланобиса этого остаточного вектора:

${displaystyle mathbf {hat {eta }} ={underset {b}{operatorname {argmin} }},(mathbf {y} -mathbf {X} mathbf {b} )^{mathsf {T}},mathbf {Omega } ^{-1}(mathbf {y} -mathbf {X} mathbf {b} ),}$

Поскольку цель - квадратичная форма от ${displaystyle mathbf {b} }$, оценка имеет явную формулу:

${displaystyle mathbf {hat {eta }} =left(mathbf {X} ^{mathsf {T}}mathbf {Omega } ^{-1}mathbf {X} ight)^{-1}mathbf {X} ^{mathsf {T}}mathbf {Omega } ^{-1}mathbf {y} .}$

Характеристики

Оценка GLS беспристрастный, последовательный, эффективный, и асимптотически нормальный с ${displaystyle operatorname {E} [{hat {eta }}mid mathbf {X} ]=eta }$ и ${displaystyle operatorname {Cov} [{hat {eta }}mid mathbf {X} ]=(mathbf {X} ^{mathsf {T}}Omega ^{-1}mathbf {X} )^{-1}}$. GLS эквивалентен применению обычного метода наименьших квадратов к линейно преобразованной версии данных. Чтобы увидеть это, фактор ${displaystyle mathbf {Omega } =mathbf {C} mathbf {C} ^{mathsf {T}}}$, например, используя Разложение Холецкого. Тогда, если мы предварительно умножим обе части уравнения ${displaystyle mathbf {y} =mathbf {X} mathbf {eta } +mathbf {varepsilon } }$ к ${displaystyle mathbf {C} ^{-1}}$, получаем эквивалентную линейную модель ${displaystyle mathbf {y} ^{*}=mathbf {X} ^{*}mathbf {eta } +mathbf {varepsilon } ^{*}}$ где ${displaystyle mathbf {y} ^{*}=mathbf {C} ^{-1}mathbf {y} }$, ${displaystyle mathbf {X} ^{*}=mathbf {C} ^{-1}mathbf {X} }$, и ${displaystyle mathbf {varepsilon } ^{*}=mathbf {C} ^{-1}mathbf {varepsilon } }$. В этой модели ${displaystyle operatorname {Var} [varepsilon ^{*}mid mathbf {X} ]=mathbf {C} ^{-1}mathbf {Omega } left(mathbf {C} ^{-1}ight)^{mathsf {T}}=mathbf {I} }$, где ${displaystyle mathbf {I} }$ это единичная матрица. Таким образом, мы можем эффективно оценить ${displaystyle mathbf {eta } }$ путем применения OLS к преобразованным данным, что требует минимизации

${displaystyle left(mathbf {y} ^{*}-mathbf {X} ^{*}mathbf {eta } ight)^{mathsf {T}}(mathbf {y} ^{*}-mathbf {X} ^{*}mathbf {eta } )=(mathbf {y} -mathbf {X} mathbf {b} )^{mathsf {T}},mathbf {Omega } ^{-1}(mathbf {y} -mathbf {X} mathbf {b} ).}$

Это приводит к стандартизации шкалы ошибок и их «декорреляции». Поскольку OLS применяется к данным с гомоскедастическими ошибками, Теорема Гаусса – Маркова применяется, и поэтому оценка GLS является лучшая линейная несмещенная оценка за β.

Взвешенный метод наименьших квадратов

Основная статья: Взвешенный метод наименьших квадратов

Особый случай GLS, называемый взвешенным методом наименьших квадратов (WLS), возникает, когда все недиагональные элементы Ω равны 0. Эта ситуация возникает, когда дисперсии наблюдаемых значений неравны (т.е.гетероскедастичность присутствует), но где нет корреляции между наблюдаемыми отклонениями. Вес за единицу я пропорциональна обратной величине дисперсии ответа для единицы я.^[2]

Возможные обобщенные методы наименьших квадратов

Если ковариация ошибок ${displaystyle Omega }$ неизвестно, можно получить непротиворечивую оценку ${displaystyle Omega }$, сказать ${displaystyle {widehat {Omega }}}$,^[3] используя реализуемую версию GLS, известную как допустимые обобщенные методы наименьших квадратов (ФГЛС) оценщик. В FGLS моделирование осуществляется в два этапа: (1) модель оценивается с помощью OLS или другого согласованного (но неэффективного) средства оценки, а остатки используются для построения согласованного средства оценки ковариационной матрицы ошибок (для этого часто требуется для изучения модели с добавлением дополнительных ограничений, например, если ошибки следуют процессу временных рядов, статистику обычно требуются некоторые теоретические допущения по этому процессу, чтобы гарантировать, что доступна согласованная оценка); и (2) используя согласованную оценку ковариационной матрицы ошибок, можно реализовать идеи GLS.

В то время как GLS более эффективен, чем OLS при гетероскедастичности или автокорреляции, это неверно для FGLS. Возможная оценка: при условии, что ковариационная матрица ошибок оценивается последовательно, асимптотически более эффективен, но для выборки малого или среднего размера он может быть менее эффективным, чем OLS. Вот почему некоторые авторы предпочитают использовать OLS и переформулировать свои выводы, просто рассматривая альтернативную оценку дисперсии оценки, устойчивую к гетероскедастичности или последовательной автокорреляции, но для больших выборок FGLS предпочтительнее, чем OLS при гетероскедастичности или последовательной корреляции.^{[3] [4]}Предупреждение: оценка FGLS не всегда согласована. Один случай, когда FGLS может быть непоследовательным, - это наличие индивидуальных фиксированных эффектов.^[5]

В целом эта оценка имеет другие свойства, чем GLS. Для больших выборок (т. Е. Асимптотически) все свойства (при соответствующих условиях) являются общими по отношению к GLS, но для конечных выборок свойства оценок FGLS неизвестны: они сильно различаются для каждой конкретной модели, и, как правило, их точные распределения не может быть получен аналитически. Для конечных выборок FGLS может быть даже менее эффективным, чем OLS в некоторых случаях. Таким образом, хотя GLS можно сделать выполнимым, не всегда разумно применять этот метод, когда выборка небольшая. Метод, который иногда используется для повышения точности оценок в конечных выборках, заключается в повторении, т. Е. Взятии остатков из FGLS для обновления оценка ковариации ошибок, а затем обновление оценки FGLS, применяя ту же идею итеративно до тех пор, пока оценки не изменятся меньше некоторого допуска. Но этот метод не обязательно значительно повышает эффективность оценщика, если исходная выборка была небольшой. Разумным вариантом, когда выборки не слишком большие, является применение МНК, но отказ от классической оценки дисперсии

${displaystyle sigma ^{2}*(X'X)^{-1}}$

(что несовместимо в этой структуре) и с использованием оценки HAC (Heteroskedasticity and Autocorrelation Consistent). Например, в контексте автокорреляции мы можем использовать оценку Бартлетта (часто известную как оценка Ньюи-Уэста, поскольку эти авторы популяризировали использование этой оценки среди эконометристов в своей работе 1987 г. Econometrica article), а в гетероскедастическом контексте мы можем использовать Оценка Эйкера – Уайта. Этот подход намного безопаснее, и это подходящий путь, если только выборка не большая, а «большой» иногда является скользкой проблемой (например, если распределение ошибок асимметрично, требуемая выборка будет намного больше).

В обыкновенный метод наименьших квадратов (OLS) оценка рассчитывается как обычно

${displaystyle {widehat {eta }}_{ ext{OLS}}=(X'X)^{-1}X'y}$

и оценки остатков ${displaystyle {widehat {u}}_{j}=(Y-X{widehat {eta }}_{ ext{OLS}})_{j}}$ построены.

Для простоты рассмотрим модель гетероскедастических ошибок. Предположим, что матрица дисперсии-ковариации ${displaystyle Omega }$ вектора ошибок диагонален, или, что то же самое, ошибки отдельных наблюдений некоррелированы. Тогда каждая диагональная запись может быть оценена с помощью подобранных остатков ${displaystyle {widehat {u}}_{j}}$ так ${displaystyle {widehat {Omega }}_{OLS}}$ может быть построен

${displaystyle {widehat {Omega }}_{ ext{OLS}}=operatorname {diag} ({widehat {sigma }}_{1}^{2},{widehat {sigma }}_{2}^{2},dots ,{widehat {sigma }}_{n}^{2}).}$

Важно отметить, что возведенные в квадрат остатки нельзя использовать в предыдущем выражении; нам нужна оценка дисперсии ошибок. Для этого мы можем использовать параметрическую модель гетероскедастичности или непараметрическую оценку. Как только этот шаг будет выполнен, мы можем продолжить:

Оценить ${displaystyle eta _{FGLS1}}$ с помощью ${displaystyle {widehat {Omega }}_{ ext{OLS}}}$ с помощью^[4] взвешенный метод наименьших квадратов

${displaystyle {widehat {eta }}_{FGLS1}=(X'{widehat {Omega }}_{ ext{OLS}}^{-1}X)^{-1}X'{widehat {Omega }}_{ ext{OLS}}^{-1}y}$

Процедуру можно повторять. Первая итерация дается формулой

${displaystyle {widehat {u}}_{FGLS1}=Y-X{widehat {eta }}_{FGLS1}}$

${displaystyle {widehat {Omega }}_{FGLS1}=operatorname {diag} ({widehat {sigma }}_{FGLS1,1}^{2},{widehat {sigma }}_{FGLS1,2}^{2},dots ,{widehat {sigma }}_{FGLS1,n}^{2})}$

${displaystyle {widehat {eta }}_{FGLS2}=(X'{widehat {Omega }}_{FGLS1}^{-1}X)^{-1}X'{widehat {Omega }}_{FGLS1}^{-1}y}$

Эта оценка ${displaystyle {widehat {Omega }}}$ можно повторить до сходимости.

В условиях регулярности любая оценка FGLS (или оценка любой из ее итераций, если мы повторяем конечное число раз) асимптотически распределена как

${displaystyle {sqrt {n}}({hat {eta }}_{FGLS}-eta ) {xrightarrow {d}} {mathcal {N}}!left(0,,Vight).}$

где n - размер выборки, а

${displaystyle V=operatorname {p-lim} (X'Omega ^{-1}X/T)}$

здесь p-lim означает предел вероятности

Смотрите также

• Доверительный регион
• Эффективные степени свободы

использованная литература

1. Эйткен, А. С. (1936). «О методах наименьших квадратов и линейных комбинациях наблюдений». Труды Королевского общества Эдинбурга. 55: 42–48.
2. Струтц, Т. (2016). Подгонка данных и неопределенность (практическое введение в взвешенный метод наименьших квадратов и не только). Springer Vieweg. ISBN  978-3-658-11455-8., Глава 3
3. Балтаги, Б. Х. (2008). Эконометрика (4-е изд.). Нью-Йорк: Спрингер.
4. Грин, В. Х. (2003). Эконометрический анализ (5-е изд.). Река Аппер Сэдл, Нью-Джерси: Prentice Hall.
5. Хансен, Кристиан Б. (2007). «Обобщенный вывод наименьших квадратов в панельных и многоуровневых моделях с последовательной корреляцией и фиксированными эффектами». Журнал эконометрики. 140 (2): 670–694. Дои:10.1016 / j.jeconom.2006.07.011.

дальнейшее чтение

• Амемия, Такеши (1985). «Обобщенная теория наименьших квадратов». Продвинутая эконометрика. Издательство Гарвардского университета. ISBN  0-674-00560-0.
• Джонстон, Джон (1972). «Обобщенные наименьшие квадраты». Эконометрические методы (Второе изд.). Нью-Йорк: Макгроу-Хилл. С. 208–242.
• Кмента Ян (1986). «Обобщенная модель линейной регрессии и ее приложения». Элементы эконометрики (Второе изд.). Нью-Йорк: Макмиллан. С. 607–650. ISBN  0-472-10886-7.