Виды линейной регрессии. Регрессия в Excel: уравнение, примеры

02.03.2024

В целях исследований часто бывает удобно представить исследуемый объект в виде ящика, имеющего входы и выходы, не рассматривая детально его внутренней структуры. Конечно, преобразования в ящике (на объекте) происходят (сигналы проходят по связям и элементам, меняют свою форму и т. п.), но при таком представлении они происходят скрыто от наблюдателя.

По степени информированности исследователя об объекте существует деление объектов на три типа «ящиков»:

«белый ящик» : об объекте известно все;
«серый ящик» : известна структура объекта, неизвестны количественные значения параметров;
«черный ящик» : об объекте неизвестно ничего.

Черный ящик условно изображают как на рис. 2.1 .

Рис. 2.1. Обозначение черного ящика на схемах

Значения на входах и выходах черного ящика можно наблюдать и измерять. Содержимое ящика неизвестно.

Задача состоит в том, чтобы, зная множество значений на входах и выходах, построить модель, то есть определить функцию ящика, по которой вход преобразуется в выход. Такая задача называется задачей регрессионного анализа .

В зависимости от того, доступны входы исследователю для управления или только для наблюдения, можно говорить про активный или пассивный эксперимент с ящиком.

Пусть, например, перед нами стоит задача определить, как зависит выпуск продукции от количества потребляемой электроэнергии. Результаты наблюдений отобразим на графике (см. рис. 2.2 ). Всего на графике n экспериментальных точек, которые соответствуют n наблюдениям.

Рис. 2.2. Графический вид представления результатов
наблюдения над черным ящиком

Для начала предположим, что мы имеем дело с черным ящиком, имеющим один вход и один выход. Допустим для простоты, что зависимость между входом и выходом линейная или почти линейная. Тогда данная модель будет называться линейной одномерной регрессионной моделью .

1) Исследователь вносит гипотезу о структуре ящика

Рассматривая экспериментально полученные данные, предположим, что они подчиняются линейной гипотезе, то есть выход Y зависит от входа X линейно, то есть гипотеза имеет вид: Y = A 1 X + A 0 (рис. 2.2 ).

2) Определение неизвестных коэффициентов A 0 и A 1 модели

Линейная одномерная модель (рис. 2.3 ).

Рис. 2.3. Одномерная модель черного ящика

Для каждой из n снятых экспериментально точек вычислим ошибку (E i ) между экспериментальным значением (Y i Эксп. ) и теоретическим значением (Y i Теор. ), лежащим на гипотетической прямой A 1 X + A 0 (см. рис. 2.2 ):

E i = (Y i Эксп. Y i Теор.), i = 1, , n ;

E i = Y i A 0 A 1 · X i , i = 1, , n .

Ошибки E i для всех n точек следует сложить. Чтобы положительные ошибки не компенсировали в сумме отрицательные, каждую из ошибок возводят в квадрат и складывают их значения в суммарную ошибку F уже одного знака:

E i 2 = (Y i A 0 A 1 · X i ) 2 , i = 1, , n .

Цель метода минимизация суммарной ошибки F за счет подбора коэффициентов A 0 , A 1 . Другими словами, это означает, что необходимо найти такие коэффициенты A 0 , A 1 линейной функции Y = A 1 X + A 0 , чтобы ее график проходил как можно ближе одновременно ко всем экспериментальным точкам. Поэтому данный метод называется методом наименьших квадратов .

Суммарная ошибка F является функцией двух переменных A 0 и A 1 , то есть F (A 0 , A 1) , меняя которые, можно влиять на величину суммарной ошибки (см. рис. 2.4 ).

Рис. 2.4. Примерный вид функции ошибки

Чтобы суммарную ошибку минимизировать, найдем частные производные от функции F по каждой переменной и приравняем их к нулю (условие экстремума):

После раскрытия скобок получим систему из двух линейных уравнений:

Для нахождения коэффициентов A 0 и A 1 методом Крамера представим систему в матричной форме:

Решение имеет вид:

Вычисляем значения A 0 и A 1 .

3) Проверка

Чтобы определить, принимается гипотеза или нет, нужно, во-первых, рассчитать ошибку между точками заданной экспериментальной и полученной теоретической зависимости и суммарную ошибку:

E i = (Y i Эксп. Y i Теор.), i = 1, , n

И, во-вторых, необходимо найти значение σ по формуле , где F суммарная ошибка, n общее число экспериментальных точек.

Если в полосу, ограниченную линиями Y Теор. S и Y Теор. + S (рис. 2.5 ), попадает 68.26% и более экспериментальных точек Y i Эксп. , то выдвинутая нами гипотеза принимается. В противном случае выбирают более сложную гипотезу или проверяют исходные данные. Если требуется бо льшая уверенность в результате, то используют дополнительное условие: в полосу, ограниченную линиями Y Теор. 2S и Y Теор. + 2S , должны попасть 95.44% и более экспериментальных точек Y i Эксп. .

Рис. 2.5. Исследование допустимости принятия гипотезы

Расстояние S связано с σ следующим соотношением:

S = σ /sin(β ) = σ /sin(90° arctg(A 1)) = σ /cos(arctg(A 1)) ,

что проиллюстрировано на рис. 2.6 .

Рис. 2.7. Иллюстрация закона
нормального распределения ошибок

Наконец, приведем на рис. 2.8 графическую схему реализации одномерной линейной регрессионной модели.

Рис. 2.8. Схема реализации метода
наименьших квадратов в среде моделирования

Линейная множественная модель

Предположим, что функциональная структура ящика снова имеет линейную зависимость, но количество входных сигналов, действующих одновременно на объект, равно m (см. рис. 2.9 ):

Y = A 0 + A 1 · X 1 + + A m · X m .

Рис. 2.9. Обозначение многомерного
черного ящика на схемах

Так как подразумевается, что мы имеем экспериментальные данные о всех входах и выходах черного ящика, то можно вычислить ошибку между экспериментальным (Y i Эксп. ) и теоретическим (Y i Теор. ) значением Y для каждой i -ой точки (пусть, как и прежде, число экспериментальных точек равно n ):

E i = (Y i Эксп. Y i Теор.), i = 1, , n ;

E i = Y i A 0 A 1 · X 1i A m · X mi , i = 1, , n .

Минимизируем суммарную ошибку F :

Ошибка F зависит от выбора параметров A 0 , A 1 , , A m . Для нахождения экстремума приравняем все частные производные F по неизвестным A 0 , A 1 , , A m к нулю:

Получим систему из m + 1 уравнения с m + 1 неизвестными, которую следует решить, чтобы определить коэффициенты линейной множественной модели A 0 , A 1 , , A m . Для нахождения коэффициентов методом Крамера представим систему в матричном виде:

Вычисляем коэффициенты A 0 , A 1 , , A m .

Далее, по аналогии с одномерной моделью (см. 3). «Проверка»), для каждой точки вычисляется ошибка E i ; затем находится суммарная ошибка F и значения σ и S с целью определить, принимается ли выдвинутая гипотеза о линейности многомерного черного ящика или нет.

При помощи подстановок и переобозначений к линейной множественной модели приводятся многие нелинейные модели. Подробно об этом рассказывается в материале следующей лекции.

Мы познакомились с двумя простыми приемами предварительного анализа зависимости между двумя переменными - диаграммой рассеяния и методом частных средних. Теперь перейдем к описанию простой линейной регрессии и выясним смысл отдельных составляющих функции регрессии.

Под простой регрессией мы понимаем одностороннюю стохастическую зависимость результативной переменной только от одной объясняющей переменной:

Если исходя из соображений профессионально-теоретического характера в сочетании с исследованием расположения точек на диаграмме рассеяния предполагается линейный характер зависимости усредненных значений результативной переменной, то эту зависимость выражают с помощью функции линейной регрессии. Формула (2.8) принимает в этом случае вид

Это общее уравнение для простой линейной регрессии, где -объясняющая переменная. Имеется наблюдений над этой переменной Неизвестные параметры регрессии подлежат оценке по определенной процедуре. Далее, не вводя дополнительных обозначений, мы будем называть их оценками параметров.

Постоянная регрессии. Ее можно представить в виде коэффициента при фиктивной переменной, принимающей для всех значение . Постоянная определяет точку пересечения прямой регрессии с осью ординат (рис. 11). Так как в соответствии с общим истолкованием уравнения регрессии является средним значением у в точке то отсюда видно, что экономическая интерпретация часто очень затруднительна или вообще невозможна. Например, если на основе опытных данных получено уравнение регрессии

определяющее зависимость объема производства от основных фондов (размерность обеих величин в 1000 марок), то интерпретация приведет к парадоксальному результату. А именно, при неиспользовании основных фондов объем производства составит марок. Теоретически должно быть в этом случае равным нулю или больше него. Но практически информация, содержащаяся в опытных данных, недостаточна, чтобы предотвратить такой парадоксальный вывод. Постоянная выполняет в уравнении регрессий функцию выравнивания. При этом следует подчеркнуть, что благодаря постоянной функция регрессии неошибочна. Уравнение регрессии интерпретируемо только в области скопления точек, а следовательно,

тельно, только между наименьшим и наибольшим наблюдаемыми значениями переменной х. Для большинства практических исследований величинами, представляющими интерес, являются и у, а не

Коэффициент называют коэффициентом регрессии. Он характеризует наклон прямой к оси Если через у обозначить угол, который прямая регрессии образует с осью абсцисс, то (см. рис. И). Коэффициент регрессии является мерой зависимости переменной у от переменной х или мерой влияния, оказываемого изменением переменной х на переменную у. Согласно уравнению указывает среднюю величину изменения переменной у при изменении объясняющей переменной х на одну единицу. Знак определяет направление этого изменения. При положительном коэффициенте регрессии мы располагаем положительной линейной регрессией, означающей поступательный характер изменения зависимой переменной при увеличении значений объясняющей переменной х. При отрицательном коэффициенте регрессии речь идет об отрицательной регрессии, при которой с увеличением значений х значения переменной у убывают. Параметры регрессии - не безразмерные величины. Постоянная уравнения регрессии имеет размерность переменной у. Размерность коэффициента регрессии представляет собой отношение размерности зависимой переменной к размерности объясняющей переменной. Здесь же отметим общий принцип, которого будем далее придерживаться. Функции, с помощью которых описывается зависимость между исследуемыми переменными, должны быть линейными относительно оцениваемых параметров. После получения численных оценок параметров может быть вычислено по уравнению регрессии для каждого значения независимой переменной значение

Рис. 11. Регрессионная прямая и ее параметры

Значения функции регрессии называются предсказанными или расчетными значениями переменной у для фиксированных х. При линейной функции совокупность предсказанных значений образует прямую регрессии. Как уже упоминалось, из-за искажающего влияния посторонних факторов-причин для каждого значения может наблюдаться несколько эмпирических значений т. е. каждому значению соответствует в статистическом смысле распределение вероятностей значений переменной у. Значения функции регрессии

В предыдущих заметках предметом анализа часто становилась отдельная числовая переменная, например, доходность взаимных фондов, время загрузки Web-страницы или объем потребления безалкогольных напитков. В настоящей и следующих заметках мы рассмотрим методы предсказания значений числовой переменной в зависимости от значений одной или нескольких других числовых переменных.

Материал будет проиллюстрирован сквозным примером. Прогнозирование объема продаж в магазине одежды. Сеть магазинов уцененной одежды Sunflowers на протяжении 25 лет постоянно расширялась. Однако в настоящее время у компании нет систематического подхода к выбору новых торговых точек. Место, в котором компания собирается открыть новый магазин, определяется на основе субъективных соображений. Критериями выбора являются выгодные условия аренды или представления менеджера об идеальном местоположении магазина. Представьте, что вы - руководитель отдела специальных проектов и планирования. Вам поручили разработать стратегический план открытия новых магазинов. Этот план должен содержать прогноз годового объема продаж во вновь открываемых магазинах. Вы полагаете, что торговая площадь непосредственно связана с объемом выручки, и хотите учесть этот факт в процессе принятия решения. Как разработать статистическую модель, позволяющую прогнозировать годовой объем продаж на основе размера нового магазина?

Как правило, для предсказания значений переменной используется регрессионный анализ. Его цель - разработать статистическую модель, позволяющую предсказывать значения зависимой переменной, или отклика, по значениям, по крайней мере одной, независимой, или объясняющей, переменной. В настоящей заметке мы рассмотрим простую линейную регрессию - статистический метод, позволяющий предсказывать значения зависимой переменной Y по значениям независимой переменной X . В последующих заметках будет описана модель множественной регрессии, предназначенная для предсказания значений независимой переменной Y по значениям нескольких зависимых переменных (Х 1 , Х 2 , …, X k ).

Скачать заметку в формате или , примеры в формате

Виды регрессионных моделей

где ρ 1 – коэффициент автокорреляции; если ρ 1 = 0 (нет автокорреляции), D ≈ 2; если ρ 1 ≈ 1 (положительная автокорреляции), D ≈ 0; если ρ 1 = -1 (отрицательная автокорреляции), D ≈ 4.

На практике применение критерия Дурбина-Уотсона основано на сравнении величины D с критическими теоретическими значениями d L и d U для заданного числа наблюдений n , числа независимых переменных модели k (для простой линейной регрессии k = 1) и уровня значимости α. Если D < d L , гипотеза о независимости случайных отклонений отвергается (следовательно, присутствует положительная автокорреляция); если D > d U , гипотеза не отвергается (то есть автокорреляция отсутствует); если d L < D < d U , нет достаточных оснований для принятия решения. Когда расчётное значение D превышает 2, то с d L и d U сравнивается не сам коэффициент D , а выражение (4 – D ).

Для вычисления статистики Дурбина-Уотсона в Excel обратимся к нижней таблице на рис. 14 Вывод остатка . Числитель в выражении (10) вычисляется с помощью функции =СУММКВРАЗН(массив1;массив2), а знаменатель =СУММКВ(массив) (рис. 16).

Рис. 16. Формулы расчета статистики Дурбина-Уотсона

В нашем примере D = 0,883. Основной вопрос заключается в следующем - какое значение статистики Дурбина-Уотсона следует считать достаточно малым, чтобы сделать вывод о существовании положительной автокорреляции? Необходимо соотнести значение D с критическими значениями (d L и d U ), зависящими от числа наблюдений n и уровня значимости α (рис. 17).

Рис. 17. Критические значения статистики Дурбина-Уотсона (фрагмент таблицы)

Таким образом, в задаче об объеме продаж в магазине, доставляющем товары на дом, существуют одна независимая переменная (k = 1), 15 наблюдений (n = 15) и уровень значимости α = 0,05. Следовательно, d L = 1,08 и d U = 1,36. Поскольку D = 0,883 < d L = 1,08, между остатками существует положительная автокорреляция, метод наименьших квадратов применять нельзя.

Проверка гипотез о наклоне и коэффициенте корреляции

Выше регрессия применялась исключительно для прогнозирования. Для определения коэффициентов регрессии и предсказания значения переменной Y при заданной величине переменной X использовался метод наименьших квадратов. Кроме того, мы рассмотрели среднеквадратичную ошибку оценки и коэффициент смешанной корреляции. Если анализ остатков подтверждает, что условия применимости метода наименьших квадратов не нарушаются, и модель простой линейной регрессии является адекватной, на основе выборочных данных можно утверждать, что между переменными в генеральной совокупности существует линейная зависимость.

Применение t -критерия для наклона. Проверяя, равен ли наклон генеральной совокупности β 1 нулю, можно определить, существует ли статистически значимая зависимость между переменными X и Y . Если эта гипотеза отклоняется, можно утверждать, что между переменными X и Y существует линейная зависимость. Нулевая и альтернативная гипотезы формулируются следующим образом: Н 0: β 1 = 0 (нет линейной зависимости), Н1: β 1 ≠ 0 (есть линейная зависимость). По определению t -статистика равна разности между выборочным наклоном и гипотетическим значением наклона генеральной совокупности, деленной на среднеквадратичную ошибку оценки наклона:

(11) t = (b 1 – β 1 ) / S b 1

где b 1 – наклон прямой регрессии по выборочным данным, β1 – гипотетический наклон прямой генеральной совокупности, , а тестовая статистика t имеет t -распределение с n – 2 степенями свободы.

Проверим, существует ли статистически значимая зависимость между размером магазина и годовым объемом продаж при α = 0,05. t -критерий выводится наряду с другими параметрами при использовании Пакета анализа (опция Регрессия ). Полностью результаты работы Пакета анализа приведены на рис. 4, фрагмент, относящийся к t-статистике – на рис. 18.

Рис. 18. Результаты применения t

Поскольку число магазинов n = 14 (см. рис.3), критическое значение t -статистики при уровне значимости α = 0,05 можно найти по формуле: t L =СТЬЮДЕНТ.ОБР(0,025;12) = –2,1788, где 0,025 – половина уровня значимости, а 12 = n – 2; t U =СТЬЮДЕНТ.ОБР(0,975;12) = +2,1788.

Поскольку t -статистика = 10,64 > t U = 2,1788 (рис. 19), нулевая гипотеза Н 0 отклоняется. С другой стороны, р -значение для Х = 10,6411, вычисляемое по формуле =1-СТЬЮДЕНТ.РАСП(D3;12;ИСТИНА), приближенно равно нулю, поэтому гипотеза Н 0 снова отклоняется. Тот факт, что р -значение почти равно нулю, означает, что если бы между размерами магазинов и годовым объемом продаж не существовало реальной линейной зависимости, обнаружить ее с помощью линейной регрессии было бы практически невозможно. Следовательно, между средним годовым объемом продаж в магазинах и их размером существует статистически значимая линейная зависимость.

Рис. 19. Проверка гипотезы о наклоне генеральной совокупности при уровне значимости, равном 0,05, и 12 степенях свободы

Применение F -критерия для наклона. Альтернативным подходом к проверке гипотез о наклоне простой линейной регрессии является использование F -критерия. Напомним, что F -критерий применяется для проверки отношения между двумя дисперсиями (подробнее см. ). При проверке гипотезы о наклоне мерой случайных ошибок является дисперсия ошибки (сумма квадратов ошибок, деленная на количество степеней свободы), поэтому F -критерий использует отношение дисперсии, объясняемой регрессией (т.е. величины SSR , деленной на количество независимых переменных k ), к дисперсии ошибок (MSE = S Y X 2 ).

По определению F -статистика равна среднему квадрату отклонений, обусловленных регрессией (MSR), деленному на дисперсию ошибки (MSE): F = MSR / MSE , где MSR = SSR / k , MSE = SSE /(n – k – 1), k – количество независимых переменных в регрессионной модели. Тестовая статистика F имеет F -распределение с k и n – k – 1 степенями свободы.

При заданном уровне значимости α решающее правило формулируется так: если F > F U , нулевая гипотеза отклоняется; в противном случае она не отклоняется. Результаты, оформленные в виде сводной таблицы дисперсионного анализа, приведены на рис. 20.

Рис. 20. Таблица дисперсионного анализа для проверки гипотезы о статистической значимости коэффициента регрессии

Аналогично t -критерию F -критерий выводится в таблицу при использовании Пакета анализа (опция Регрессия ). Полностью результаты работы Пакета анализа приведены на рис. 4, фрагмент, относящийся к F -статистике – на рис. 21.

Рис. 21. Результаты применения F -критерия, полученные с помощью Пакета анализа Excel

F-статистика равна 113,23, а р -значение близко к нулю (ячейка Значимость F ). Если уровень значимости α равен 0,05, определить критическое значение F -распределения с одной и 12 степенями свободы можно по формуле F U =F.ОБР(1-0,05;1;12) = 4,7472 (рис. 22). Поскольку F = 113,23 > F U = 4,7472, причем р -значение близко к 0 < 0,05, нулевая гипотеза Н 0 отклоняется, т.е. размер магазина тесно связан с его годовым объемом продаж.

Рис. 22. Проверка гипотезы о наклоне генеральной совокупности при уровне значимости, равном 0,05, с одной и 12 степенями свободы

Доверительный интервал, содержащий наклон β 1 . Для проверки гипотезы о существовании линейной зависимости между переменными можно построить доверительный интервал, содержащий наклон β 1 и убедиться, что гипотетическое значение β 1 = 0 принадлежит этому интервалу. Центром доверительного интервала, содержащего наклон β 1 , является выборочный наклон b 1 , а его границами - величины b 1 ± t n –2 S b 1

Как показано на рис. 18, b 1 = +1,670, n = 14, S b 1 = 0,157. t 12 =СТЬЮДЕНТ.ОБР(0,975;12) = 2,1788. Следовательно, b 1 ± t n –2 S b 1 = +1,670 ± 2,1788 * 0,157 = +1,670 ± 0,342, или + 1,328 ≤ β 1 ≤ +2,012. Таким образом, наклон генеральной совокупности с вероятностью 0,95 лежит в интервале от +1,328 до +2,012 (т.е. от 1 328 000 до 2 012 000 долл.). Поскольку эти величины больше нуля, между годовым объемом продаж и площадью магазина существует статистически значимая линейная зависимость. Если бы доверительный интервал содержал нуль, между переменными не было бы зависимости. Кроме того, доверительный интервал означает, что каждое увеличение площади магазина на 1 000 кв. футов приводит к увеличению среднего объема продаж на величину от 1 328 000 до 2 012 000 долларов.

Использование t -критерия для коэффициента корреляции. был введен коэффициент корреляции r , представляющий собой меру зависимости между двумя числовыми переменными. С его помощью можно установить, существует ли между двумя переменными статистически значимая связь. Обозначим коэффициент корреляции между генеральными совокупностями обеих переменных символом ρ. Нулевая и альтернативная гипотезы формулируются следующим образом: Н 0 : ρ = 0 (нет корреляции), Н 1 : ρ ≠ 0 (есть корреляция). Проверка существования корреляции:

где r = + , если b 1 > 0, r = – , если b 1 < 0. Тестовая статистика t имеет t -распределение с n – 2 степенями свободы.

В задаче о сети магазинов Sunflowers r 2 = 0,904, а b 1 - +1,670 (см. рис. 4). Поскольку b 1 > 0, коэффициент корреляции между объемом годовых продаж и размером магазина равен r = +√0,904 = +0,951. Проверим нулевую гипотезу, утверждающую, что между этими переменными нет корреляции, используя t -статистику:

При уровне значимости α = 0,05 нулевую гипотезу следует отклонить, поскольку t = 10,64 > 2,1788. Таким образом, можно утверждать, что между объемом годовых продаж и размером магазина существует статистически значимая связь.

При обсуждении выводов, касающихся наклона генеральной совокупности, доверительные интервалы и критерии для проверки гипотез являются взаимозаменяемыми инструментами. Однако вычисление доверительного интервала, содержащего коэффициент корреляции, оказывается более сложным делом, поскольку вид выборочного распределения статистики r зависит от истинного коэффициента корреляции.

Оценка математического ожидания и предсказание индивидуальных значений

В этом разделе рассматриваются методы оценки математического ожидания отклика Y и предсказания индивидуальных значений Y при заданных значениях переменной X .

Построение доверительного интервала. В примере 2 (см. выше раздел Метод наименьших квадратов ) регрессионное уравнение позволило предсказать значение переменной Y X . В задаче о выборе места для торговой точки средний годовой объем продаж в магазине площадью 4000 кв. футов был равен 7,644 млн. долл. Однако эта оценка математического ожидания генеральной совокупности является точечной. для оценки математического ожидания генеральной совокупности была предложена концепция доверительного интервала. Аналогично можно ввести понятие доверительного интервала для математического ожидания отклика при заданном значении переменной X :

где , = b 0 + b 1 X i – предсказанное значение переменное Y при X = X i , S YX – среднеквадратичная ошибка, n – объем выборки, X i - заданное значение переменной X , µ Y | X = X i – математическое ожидание переменной Y при Х = Х i , SSX =

Анализ формулы (13) показывает, что ширина доверительного интервала зависит от нескольких факторов. При заданном уровне значимости возрастание амплитуды колебаний вокруг линии регрессии, измеренное с помощью среднеквадратичной ошибки, приводит к увеличению ширины интервала. С другой стороны, как и следовало ожидать, увеличение объема выборки сопровождается сужением интервала. Кроме того, ширина интервала изменяется в зависимости от значений X i . Если значение переменной Y предсказывается для величин X , близких к среднему значению , доверительный интервал оказывается уже, чем при прогнозировании отклика для значений, далеких от среднего.

Допустим, что, выбирая место для магазина, мы хотим построить 95%-ный доверительный интервал для среднего годового объема продаж во всех магазинах, площадь которых равна 4000 кв. футов:

Следовательно, средний годовой объем продаж во всех магазинах, площадь которых равна 4 000 кв. футов, с 95% -ной вероятностью лежит в интервале от 6,971 до 8,317 млн. долл.

Вычисление доверительного интервала для предсказанного значения. Кроме доверительного интервала для математического ожидания отклика при заданном значении переменной X , часто необходимо знать доверительный интервал для предсказанного значения. Несмотря на то что формула для вычисления такого доверительного интервала очень похожа на формулу (13), этот интервал содержит предсказанное значение, а не оценку параметра. Интервал для предсказанного отклика Y X = Xi при конкретном значении переменной X i определяется по формуле:

Предположим, что, выбирая место для торговой точки, мы хотим построить 95%-ный доверительный интервал для предсказанного годового объема продаж в магазине, площадь которого равна 4000 кв. футов:

Следовательно, предсказанный годовой объем продаж в магазине, площадь которого равна 4000 кв. футов, с 95%-ной вероятностью лежит в интервале от 5,433 до 9,854 млн. долл. Как видим, доверительный интервал для предсказанного значения отклика намного шире, чем доверительный интервал для его математического ожидания. Это объясняется тем, что изменчивость при прогнозировании индивидуальных значений намного больше, чем при оценке математического ожидания.

Подводные камни и этические проблемы, связанные с применением регрессии

Трудности, связанные с регрессионным анализом:

Игнорирование условий применимости метода наименьших квадратов.
Ошибочная оценка условий применимости метода наименьших квадратов.
Неправильный выбор альтернативных методов при нарушении условий применимости метода наименьших квадратов.
Применение регрессионного анализа без глубоких знаний о предмете исследования.
Экстраполяция регрессии за пределы диапазона изменения объясняющей переменной.
Путаница между статистической и причинно-следственной зависимостями.

Широкое распространение электронных таблиц и программного обеспечения для статистических расчетов ликвидировало вычислительные проблемы, препятствовавшие применению регрессионного анализа. Однако это привело к тому, что регрессионный анализ стали применять пользователи, не обладающие достаточной квалификацией и знаниями. Откуда пользователям знать об альтернативных методах, если многие из них вообще не имеют ни малейшего понятия об условиях применимости метода наименьших квадратов и не умеют проверять их выполнение?

Исследователь не должен увлекаться перемалыванием чисел - вычислением сдвига, наклона и коэффициента смешанной корреляции. Ему нужны более глубокие знания. Проиллюстрируем это классическим примером, взятым из учебников. Анскомб показал, что все четыре набора данных, приведенных на рис. 23, имеют одни и те же параметры регрессии (рис. 24).

Рис. 23. Четыре набора искусственных данных

Рис. 24. Регрессионный анализ четырех искусственных наборов данных; выполнен с помощью Пакета анализа (кликните на рисунке, чтобы увеличить изображение)

Итак, с точки зрения регрессионного анализа все эти наборы данных совершенно идентичны. Если бы анализ был на этом закончен, мы потеряли бы много полезной информации. Об этом свидетельствуют диаграммы разброса (рис. 25) и графики остатков (рис. 26), построенные для этих наборов данных.

Рис. 25. Диаграммы разброса для четырех наборов данных

Диаграммы разброса и графики остатков свидетельствуют о том, что эти данные отличаются друг от друга. Единственный набор, распределенный вдоль прямой линии, - набор А. График остатков, вычисленных по набору А, не имеет никакой закономерности. Этого нельзя сказать о наборах Б, В и Г. График разброса, построенный по набору Б, демонстрирует ярко выраженную квадратичную модель. Этот вывод подтверждается графиком остатков, имеющим параболическую форму. Диаграмма разброса и график остатков показывают, что набор данных В содержит выброс. В этой ситуации необходимо исключить выброс из набора данных и повторить анализ. Метод, позволяющий обнаруживать и исключать выбросы из наблюдений, называется анализом влияния. После исключения выброса результат повторной оценки модели может оказаться совершенно иным. Диаграмма разброса, построенная по данным из набора Г, иллюстрирует необычную ситуацию, в которой эмпирическая модель значительно зависит от отдельного отклика (Х 8 = 19, Y 8 = 12,5). Такие регрессионные модели необходимо вычислять особенно тщательно. Итак, графики разброса и остатков являются крайне необходимым инструментом регрессионного анализа и должны быть его неотъемлемой частью. Без них регрессионный анализ не заслуживает доверия.

Рис. 26. Графики остатков для четырех наборов данных

Как избежать подводных камней при регрессионном анализе:

Анализ возможной взаимосвязи между переменными X и Y всегда начинайте с построения диаграммы разброса.
Прежде чем интерпретировать результаты регрессионного анализа, проверяйте условия его применимости.
Постройте график зависимости остатков от независимой переменной. Это позволит определить, насколько эмпирическая модель соответствует результатам наблюдения, и обнаружить нарушение постоянства дисперсии.
Для проверки предположения о нормальном распределении ошибок используйте гистограммы, диаграммы «ствол и листья», блочные диаграммы и графики нормального распределения.
Если условия применимости метода наименьших квадратов не выполняются, используйте альтернативные методы (например, модели квадратичной или множественной регрессии).
Если условия применимости метода наименьших квадратов выполняются, необходимо проверить гипотезу о статистической значимости коэффициентов регрессии и построить доверительные интервалы, содержащие математическое ожидание и предсказанное значение отклика.
Избегайте предсказывать значения зависимой переменной за пределами диапазона изменения независимой переменной.
Имейте в виду, что статистические зависимости не всегда являются причинно-следственными. Помните, что корреляция между переменными не означает наличия причинно-следственной зависимости между ними.

Резюме. Как показано на структурной схеме (рис. 27), в заметке описаны модель простой линейной регрессии, условия ее применимости и способы проверки этих условий. Рассмотрен t -критерий для проверки статистической значимости наклона регрессии. Для предсказания значений зависимой переменной использована регрессионная модель. Рассмотрен пример, связанный с выбором места для торговой точки, в котором исследуется зависимость годового объема продаж от площади магазина. Полученная информация позволяет точнее выбрать место для магазина и предсказать его годовой объем продаж. В следующих заметках будет продолжено обсуждение регрессионного анализа, а также рассмотрены модели множественной регрессии.

Рис. 27. Структурная схема заметки

Используются материалы книги Левин и др. Статистика для менеджеров. – М.: Вильямс, 2004. – с. 792–872

Если зависимая переменная является категорийной, необходимо применять логистическую регрессию.

Рассмотрим парную линейную регрессионную модель взаимосвязи двух переменных, для которой функция регрессии φ(х) линейна. Обозначим черезy x условную среднюю признакаY в генеральной совокупности при фиксированном значенииx переменнойХ . Тогда уравнение регрессии будет иметь вид:

y x = ax + b , гдеa –коэффициент регрессии (показатель наклона линии линейной регрессии). Коэффициент регрессии показывает, на сколько единиц в среднем изменяется переменнаяY при изменении переменнойХ на одну единицу. С помощью метода наименьших квадратов получают формулы, по которым можно вычислять параметры линейной регрессии:

Таблица 1. Формулы для расчета параметров линейной регрессии

Свободный член b	Коэффициент регрессии a	Коэффициент детерминации

Проверка гипотезы о значимости уравнения регрессии
Н 0 :	Н 1 :
, ,, Приложение 7 (для линейной регрессии р = 1)

Направление связи между переменными определяется на основании знака коэффициента регрессии. Если знак при коэффициенте регрессии положительный, связь зависимой переменной с независимой будет положительной. Если знак при коэффициенте регрессии отрицательный, связь зависимой переменной с независимой является отрицательной (обратной).

Для анализа общего качества уравнения регрессии используют коэффициент детерминации R 2 , называемый также квадратом коэффициента множественной корреляции. Коэффициент детерминации (мера определенности) всегда находится в пределах интервала . Если значениеR 2 близко к единице, это означает, что построенная модель объясняет почти всю изменчивость соответствующих переменных. И наоборот, значениеR 2 близкое к нулю, означает плохое качество построенной модели.

Коэффициент детерминации R 2 показывает, на сколько процентовнайденная функция регрессии описывает связь между исходными значениямиY иХ . На рис. 3 показана– объясненная регрессионной моделью вариация и- общая вариация. Соответственно, величинапоказывает, сколько процентов вариации параметраY обусловлены факторами, не включенными в регрессионную модель.

При высоком значении коэффициента детерминации 75%) можно делать прогноздля конкретного значенияв пределах диапазона исходных данных. При прогнозах значений, не входящих в диапазон исходных данных, справедливость полученной модели гарантировать нельзя. Это объясняется тем, что может проявиться влияние новых факторов, которые модель не учитывает.

Оценка значимости уравнения регрессии осуществляется с помощью критерия Фишера (см. табл. 1). При условии справедливости нулевой гипотезы критерий имеет распределение Фишера с числом степеней свободы , (для парной линейной регрессиир = 1 ). Если нулевая гипотеза отклоняется, то уравнение регрессии считается статистически значимым. Если нулевая гипотеза не отклоняется, то признается статистическая незначимость или ненадежность уравнения регрессии.

Пример 1. В механическом цехе анализируется структура себестоимости продукции и доля покупных комплектующих. Было отмечено, что стоимость комплектующих зависит от времени их поставки. В качестве наиболее важного фактора, влияющего на время поставки, выбрано пройденное расстояние. Провести регрессионный анализ данных о поставках:

Расстояние, миль
Время, мин

Для проведения регрессионного анализа:

построить график исходных данных, приближенно определить характер зависимости;

выбрать вид функции регрессии и определить численные коэффициенты модели методом наименьших квадратов и направление связи;

оценить силу регрессионной зависимости с помощью коэффициента детерминации;

оценить значимость уравнения регрессии;

сделать прогноз (или вывод о невозможности прогнозирования) по принятой модели для расстояния 2 мили.

2. Вычислим суммы, необходимые для расчета коэффициентов уравнения линейной регрессии и коэффициента детерминации R 2 :

; ;;.

Искомая регрессионная зависимость имеет вид: . Определяем направление связи между переменными: знак коэффициента регрессии положительный, следовательно, связь также является положительной, что подтверждает графическое предположение.

3. Вычислим коэффициент детерминации: или 92%. Таким образом, линейная модель объясняет 92% вариации времени поставки, что означает правильность выбора фактора (расстояния). Не объясняется 8% вариации времени, которые обусловлены остальными факторами, влияющими на время поставки, но не включенными в линейную модель регрессии.

4. Проверим значимость уравнения регрессии:

Т.к. – уравнение регрессии (линейной модели) статистически значимо.

5. Решим задачу прогнозирования. Поскольку коэффициент детерминации R 2 имеет достаточно высокое значение и расстояние 2 мили, для которого надо сделать прогноз, находится в пределах диапазона исходных данных, то можно сделать прогноз:

Регрессионный анализ удобно проводить с помощью возможностей Exel . Режим работы "Регрессия" служит для расчета параметров уравнения линейной регрессии и проверки его адекватности исследуемому процессу. В диалоговом окне следует заполнить следующие параметры:

Пример 2. Выполнить задание примера 1 с помощью режима "Регрессия" Exel .

ВЫВОД ИТОГОВ

Регрессионная статистика
Множественный R
R-квадрат
Нормированный R-квадрат
Стандартная ошибка
Наблюдения
	Коэффициенты	Стандартная ошибка	t-статистика	P-Значение
Y-пересечение
Переменная X 1

Рассмотрим представленные в таблице результаты регрессионного анализа.

Величина R-квадрат , называемая также мерой определенности, характеризует качество полученной регрессионной прямой. Это качество выражается степенью соответствия между исходными данными и регрессионной моделью (расчетными данными). В нашем примере мера определенности равна 0,91829, что говорит об очень хорошей подгонке регрессионной прямой к исходным данным и совпадает с коэффициентом детерминации R 2 , вычисленным по формуле.

Множественный R - коэффициент множественной корреляции R - выражает степень зависимости независимых переменных (X) и зависимой переменной (Y) и равен квадратному корню из коэффициента детерминации. В простом линейном регрессионном анализе множественный коэффициент R равен линейному коэффициенту корреляции (r = 0,958).

Коэффициенты линейной модели: Y -пересечение выводит значение свободного члена b , а переменная Х1 – коэффициента регрессии а. Тогда уравнение линейной регрессии:

у = 2,6597 x + 5,9135 (что хорошо согласуется с результатами расчета в примере 1).

Далее проверим значимость коэффициентов регрессии: a и b . Сравнивая попарно значения столбцов Коэффициенты и Стандартная ошибка в таблице, видим, что абсолютные значения коэффициентов больше, чем их стандартные ошибки. К тому же эти коэффициенты являются значимыми, о чем можно судить по значениям показателя Р-значение, которые меньше заданного уровня значимости α=0,05.

Наблюдение	Предсказанное Y	Остатки	Стандартные остатки

В таблице представлены результаты вывода остатков . При помощи этой части отчета мы можем видеть отклонения каждой точки от построенной линии регрессии. Наибольшее абсолютное значение остатка в данном случае - 1,89256, наименьшее - 0,05399. Для лучшей интерпретации этих данных строят график исходных данных и построенной линией регрессии. Как видно из построения, линия регрессии хорошо "подогнана" под значения исходных данных, а отклонения носят случайный характер.

Основные процедуры математического моделирования

Аппроксимация

Аппроксимация , или приближение - научный метод, состоящий в замене одних объектов другими, в том или ином смысле близкими к исходным, но более простыми.

В математическом моделировании аппроксимация используется в двух вариантах:

1) имеются экспериментальные данные, отражающие объективную реальность, в виде отдельных точек и требуется представить их виде гладкой функции, которая и будет математической моделью, отражающей эти объективные экспериментальные данные;

2) уже имеется некая исходная математическая модель, но необходимо создать такую математическую модель, которая с одной стороны будет проще исходной, а с другой стороны будет похожа (в определённых рамках) на нее.

В общем случае выбор аппроксимирующей функции во многом определяется физикой описываемого процесса.

Часто задача аппроксимации сводится либо к линеаризации, либо к линейной регрессии.

Математика многогранна и в ней можно найти как математическую модель, внутри которой имеется блок аппроксимации, так и аппроксимацию целой математической модели. Если первое понятно и пояснений не требует, то примером второго является, например, аппроксимация редкого катастрофического явления, где само явление описывается сложной математической моделью.

Линеаризация

Выгоды линейности бывают столь велики, что приближенная замена нелинейных соотношений на линейные, нелинейных моделей на линейные, т. е. линеаризация соотношений, моделей и т. д. весьма распространена в моделировании.

Рассмотрим вначале два наиболее часто используемых случаев линеаризации: либо если эксперимент показывает (как, например, для закона Гука), что отклонение от линейности в рассматриваемом диапазоне ab изменения переменных невелико и несущественно (рис.1,а), либо же необходимо линеаризовать функцию в окрестности точки a (рис.1,б).

В первом случае используется линейная интерполяция , а во втором – линеаризация с применением ряда Тейлора .

Линейная интерполяция

Задача сводится к нахождению прямой, проведенной через две точки:

Линеаризация с помощью ряда Тейлора

В этом случае функция y(x) раскладывается в ряд Тейлора в окрестности точки a (рис.1,б):

Второе слагаемое в (2) – дифференциал функции y(x) в точке a .

Пример. Исходная математическая модель является квадратным трехчленом:

Необходимо линеаризовать эту модель в окрестности точки x =2.

Решение. По (3) находим: =4. Производная

в точке x =2 равна: =3, тогда линеаризованная модель

Сравним результаты расчетов по формулам (3) и (4):

Таблица 1

Как видим, при малых отклонениях погрешности получаются незначительными.

К тому же, модель (4) проще, чем (3), но недостатком такого подхода является необходимость пересчета коэффициентов (фактически построение другой модели) при существенном изменении значения x (например, при x =3).

Линейная регрессия

Общие положения

Как мы видели, математическая статистика занимается обработкой данных, полученных в результате какого-либо эксперимента. В частности – это зависимость величины Y от величины X в виде набора точек на плоскости (x i , y i ), i = 1, …, n (рис.3). Но эта зависимость не будет однозначной (т.е. функциональной ), а будет вероятностной (или стохастической ), поскольку в общем случае и Y и X – случайные величины.

Функциональные связи являются абстракциями, в реальной жизни онивстречаются редко, но находят широкое применение в точных науках и впервую очередь, в математике. Например: зависимость площади круга отрадиуса: S=π∙r 2

Обычно при стохастической зависимости между X и Y одна величина рассматривается как независимая (X ), а вторая (Y ) – как зависимая от первой, и зависимая величина ведет себя как случайная величина и ее можно описать некоторым вероятностным законом распределения.

Терминология зависимых и независимых переменных отражает лишь математическую зависимость переменных, а не причинно-следственные отношения.

Учитывая специфику вероятностной связи, эти величины (точнее – признаки) чаще называют факторными (которые обуславливают изменения других) , или просто факторами , и результативными (которые изменяются под действием факторных признаков).

Возникновение понятия стохастической зависимости обусловливается тем, что величины подвержены влиянию неконтролируемых или неучтённых факторов, а также тем, что измерение значений переменных неизбежно сопровождается некоторыми случайными ошибками.То есть изучаемая система переходит не в определенное состояние, а в одно из возможных для нее состояний. Стохастическая связь состоит в том, что одна случайная переменная реагирует на изменение другой изменением своего закона распределения.

Частным случаем стохастической связи является корреляционная связь , при которой изменение среднего значения результативного признака обусловлено изменением факторных признаков.

Поэтому при проведении того же эксперимента мы могли бы получить и несколько другой набор пар (x i , y i ) (точки красного цвета нарис.4) в силу именно случайности фигурирующих в эксперименте величин.

Это можно интерпретировать, что рис.3, например, является своего рода «фотографией», а на самом деле точки (x i , y i ), в силу случайных факторов, могут занимать и другое место на графике.

Модель стохастической связи может быть представлена в общем виде уравнением: ŷ i = ƒ(x i) + e i , где:

f(x i) -часть результативного признака, сформировавшаяся под воздействием учтенных известных факторных признаков (одного или множества), находящихся в стохастической связи с признаком;
ŷ i -расчетное значение результативного признака;
e i -часть результативного признака, возникшая вследствие действия неконтролируемых или неучтенных факторов, а также измерения признаков, неизбежно сопровождающегося некоторыми случайными ошибками.

Сравним: модель функциональной связи:

Разные разделы математической статистики посвящены обработке случайных величин в соответствии с разными задачами, например, с точки зрения расчета параметров выборки, или - отличия выборочных параметров от параметров генеральной совокупности, и т.д. Регрессионный анализ (РА) является тоже разделом математической статистики и в нем обрабатываются случайные величины со своих позиций, а именно:

регрессионный анализ устанавливает формы зависимости между этими величинами X и Y. Такая зависимость определяется некоторой математической моделью (уравнением регрессии), содержащей несколько неизвестных параметров (красные линии на рис.5).

Наиболее общая задача РА : для экспериментальных данных, имеющих между собой стохастическую зависимость, подобрать наиболее адекватную математическую модель в виде уравнения регрессии, графически являющейся некоторой линией.

Отметим, что при изучении стохастических зависимостей кроме РА используют и корреляционный анализ.

Фразу «наиболее адекватную математическую модель» нужно понимать в соответствии со следующими положениями.

Для каждого конкретного значения x i , кроме зафиксированного значения y i величины Y , имеется также несколько других значений величины Y (в силу ее случайности): , поэтому можно говорить о среднем значении:

Если величина x не является случайной (через строчную букву обозначаются именно неслучайные величины), то зависимость по табл.2 является однозначной и искомой. В наиболее строгом варианте речь идет о некой генеральной совокупности, где между значениями Y и x имеется зависимость, а конкретно - зависимость между МО величины Y и величиной x , отражением которой является табл.2. Но дело в том, что эта зависимость имеет теоретическое значение, поскольку мы не знаем всей совокупности значений y i 1 , y i 2 , y i 3 ,… y in , однако наиболее близкое к ней уравнение регрессии и будет наиболее адекватным.

Регрессия – это зависимость среднего значения (точнее – математического ожидания) случайной величины Y от величины x.

В РА рассматривается и вариант, когда величина X является случайной (через заглавные буквы обозначаются случайные величины), тогда речь будет идти о зависимости среднего значения случайной величины Y от среднего значения величины X (мое –проверить).

РА состоит из нескольких этапов:

§ выбор уравнения регрессии (математической модели);

§ оценка неизвестных параметров этой модели;

§ определяются статистические ошибки оценки или границы доверительных интервалов;

§ проверяется адекватность принятой математической модели экспериментальным данным.

Простая линейная регрессия

Простая линейная регрессия (ПЛР) имеет место в случае, когда зависимая величина Y определяется одной величиной x . В этом случае ПЛР выражается уравнением (рис.6):

(6)

Здесь означает, что МО случайной величины Y определяется при фиксированном значении величины x .

Основное предположение ПЛР:

В генеральной совокупности, из которой получены экспериментальные данные, действительно существует линейная регрессия, т.е. зависимой случайной величины Y для любого значения независимой величины x является линейной функцией вида (6).

Пример 1 ПЛР. (из учебника Иванова). Мировые рекорды в прыжках с шестом:

Рис.7

В виде графика:

Рис.8

Заманчиво: можно сделать прогноз (проверить!).