Метод наименьших квадратов

Vector · Сообщение **Vector** » 16 май 2013, 22:35

А, что процесс детерминированный? Куда Вы шумовую добавку подевали? МНК минимизирует остатки модели, если нет шумовой составляющей то тут и прогнозировать нечего.

t это период или отсчёт времени? Под периодом я понимаю время за которое совершается одно полное колебание системы. Вы этот же смысл вкладываете в слово период?

Если я понял что тут непериодический и случайный процесс, то оценки при таких объёмах данных ищутся по уравнениям Юла-Уокера. Это и есть МНК.

Craft · Сообщение **Craft** » 17 май 2013, 18:16

Метод Бокса-Дженкинса включает класс моделей, позволяющих получать точные прогнозы на основе описания временной структуры данных. Модели смешанного авторегрессионного скользящего среднего (ARIMA), например, для месячных объемов продаж выявляет временную структуру в уже имеющихся данных о продажах, которая затем используется для прогнозирования продаж на следующие месяцы.
В этом случае $$t$$

лучше брать как момент времени.

Vector · Сообщение **Vector** » 17 май 2013, 21:39

Craft писал(а):Source of the post
Метод Бокса-Дженкинса включает класс моделей, позволяющих получать точные прогнозы на основе описания временной структуры данных. Модели смешанного авторегрессионного скользящего среднего (ARIMA), например, для месячных объемов продаж выявляет временную структуру в уже имеющихся данных о продажах, которая затем используется для прогнозирования продаж на следующие месяцы.
В этом случае лучше брать как момент времени.

Для того, чтобы у Вас был временной ряд AR(2), в Вашей формуле в первом посте не хватает случайной добавки:

$y_{t}=a+by_{t-1}+cy_{t-2}+\xi_{t},$

где $\{\xi_{t}\} - i.i.d.$

Я предполагаю, что "а" - это у Вас постоянная составляющая?

Тогда параметры нужно искать из условия минимума суммы квадратов:

$RSS(a,b,c)=\sum\limits_{t = 2}^n {(y_{t}-a-by_{t-1}-cy_{t-2})^2}$

$\{a,b,c\}=argmin(RSS(x1,x2,x3))$

После взятие частных производных в лоб, придёте к уравнениям Юла-Уокера.

eugrita · Сообщение **eugrita** » 18 май 2013, 08:26

Гость писал(а):Source of the post
Здравствуйте, уважаемые форумчане!
Подскажите, пожалуйста, последовательный алгоритм нахождения коэффициентов a,b,c с помощью МНК для формулы
$y=a+by_{t-1}+cy_{t-2}$

Не хочу вам еще пудрить мозги, и так достаточно ответили без меня. Но почему критерий мин.суммы квадратов? Есть еще крит2. мин суммы модулей отклонений и крит.3 наибольший модуль отклонения, лругой вопрос они не являются гладкими функциями и для них правила нахождения экстремума через частные производные как в МНК неприменимо.
Но это не значит что исследователь не может для себя сформулировать такие критерии

Craft · Сообщение **Craft** » 18 май 2013, 10:21

Vector писал(а):Source of the post
Для того, чтобы у Вас был временной ряд AR(2), в Вашей формуле в первом посте не хватает случайной добавки:

$y_{t}=a+by_{t-1}+cy_{t-2}+\xi_{t},$

где $\{\xi_{t}\} - i.i.d.$

Я предполагаю, что "а" - это у Вас постоянная составляющая?

Описание авторегрессионной модели порядка $$p$$

:

$y_t=\phi_0+\phi_1y_{t-1}+\phi_2y_{t-2}+...+\phi_py_{t-p}+\xi_t$

где
$$y_t$$

- отклик (зависимая переменная) в момент времени $$t$$

,
$y_{t-1},y_{t-2},...,y_{t-p}$ - отклик при значениях времени $$t-1,t-2,...,t-p$$

соответственно,
$\phi_0,\phi_1,\phi_2,...,\phi_p$ - оцениваемые коэффициенты,
$\xi_t$ - ошибка, описывающая влияние переменных, которые не учитываются в модели.

В моем случае $$p=2$$

.

Оптимальной величиной ошибки является та, среднее значение которой равняется 0, тогда при подсчете прогноза на момент времени $$t$$

ошибка не учитывается. Получается ошибка учитывается при подсчете оценок коэффициентов $\phi_0,\phi_1,\phi_2,...,\phi_p$ с помощью МНК?

Vector · Сообщение **Vector** » 18 май 2013, 13:20

eugrita писал(а):Source of the post
Не хочу вам еще пудрить мозги, и так достаточно ответили без меня. Но почему критерий мин.суммы квадратов? Есть еще крит2. мин суммы модулей отклонений и крит.3 наибольший модуль отклонения, лругой вопрос они не являются гладкими функциями и для них правила нахождения экстремума через частные производные как в МНК неприменимо.
Но это не значит что исследователь не может для себя сформулировать такие критерии

Потому что, если остатки модели распределены нормально, то МНК = ММП(у) (условный метод максимального правдоподобия). А отсюда следуют все асимптотические свойства оценок (несмещённость, состоятельность и т.п.)

Craft писал(а):Source of the post
Оптимальной величиной ошибки является та, среднее значение которой равняется 0, тогда при подсчете прогноза на момент времени ошибка не учитывается. Получается ошибка учитывается при подсчете оценок коэффициентов $\phi_0,\phi_1,\phi_2,...,\phi_p$ с помощью МНК?

Что вы вкладываете в слово ошибка, и что значит учитывает? Уравнения Юла-Уокера в википедии есть. Нужно просто их использовать.

Craft · Сообщение **Craft** » 18 май 2013, 20:43

Vector писал(а):Source of the post Что вы вкладываете в слово ошибка, и что значит учитывает?

$\xi_t$ включает ошибки моделирования, связанные с неадекватностью используемой модели данным.
Насчет "учитывает", хотел спросить, участвуют ли эти ошибки $\xi_t$ в подсчете коэффициентов $\phi_p$ в МНК?

Таланов

Craft писал(а):Source of the post
Насчет "учитывает", хотел спросить, участвуют ли эти ошибки $\xi_t$ в подсчете коэффициентов $\phi_p$ в МНК?

Конечно. Именно они (ошибки) делают эти коэффициенты случайными.

Craft · Сообщение **Craft** » 19 май 2013, 08:23

Ошибки вычисляются или генерируются случайным образом? Какой у них может быть интервал распределения?

Vector · Сообщение **Vector** » 19 май 2013, 10:17

Craft писал(а):Source of the post
Ошибки вычисляются или генерируются случайным образом? Какой у них может быть интервал распределения?

Советую почитать что-нибудь, а то по вопросам видно, что вы вообще "не в теме".

yourdomain.com