Дисперсия и остатки

Evilution · Сообщение **Evilution** » 27 июн 2011, 16:52

Здравствуйте уважаемые форумчане.
Столкнулся с проблемой сопоставления дисперсии с остатками от линейной регрессии. Нужен совет, или просто лучшее предложение, чем мое, по решению данной задачи. Заранее спасибо.

Задача.
Есть модель линейной регрессии:
$y=\alpha + \beta \cdot x + \epsilon$

Пусть это уравнение строилось на 500 наблюдениях. По результатам оценки получаем 500 остатков (отклонений от оцененных значений $\hat{y}$ ), обозначаемых $$e_i$$

.

А еще изначально у нас есть 500 предсказанных значений дисперсии случайной ошибки $\epsilon$ , обозначаемых $\hat{\sigma_i}^2$ .

Требуется проверить качество спрогнозированных дисперсий.

Мысли. Обычными критериями согласия тут не обойтись, так как дисперсия дисперсии будет значительно меньше, чем дисперсия модулей остатков.
Просто вычислить среднее значение модуля и сравнить со средним значением стандартного отклонения? В принципе они получаются практически равными, но это как то не солидно, ведь лучше будет критерий, соотносящий каждое наблюдение каждому.
В таком случае можно посчитать корреляцию между модулем остатков и стандартным отклонением, что в принципе по-моему неплохо подходит.
А что бы посоветовали вы? Спасибо.

vicvolf · Сообщение **vicvolf** » 27 июн 2011, 19:20

Evilution писал(а):Source of the post
А что бы посоветовали вы? Спасибо.

Можно оценить точность линейной регресии. Может быть полином n степени дал бы более точные оценки. Посмотрите здесь [url=http://slovari.yandex.ru/~%D0%BA%D0%BD%D0%...BB%D0%B8%D0%B7/]http://slovari.yandex.ru/~%D0%BA%D0%BD%D0%...BB%D0%B8%D0%B7/[/url]

Evilution · Сообщение **Evilution** » 27 июн 2011, 19:53

vicvolf писал(а):Source of the post
Evilution писал(а):Source of the post
А что бы посоветовали вы? Спасибо.

Можно оценить точность линейной регресии. Может быть полином n степени дал бы более точные оценки. Посмотрите здесь [url=http://slovari.yandex.ru/~%D0%BA%D0%BD%D0%...BB%D0%B8%D0%B7/]http://slovari.yandex.ru/~%D0%BA%D0%BD%D0%...BB%D0%B8%D0%B7/[/url]

Виктор В. Спасибо что посоветовали мне ознакомится с понятием линейной регрессии. И за ссылку тоже большое спасибо, но мне не надо оценивать взаимосвязь между дисперсией и остатками.
Мне нужно понять, действительно ли эти оцененные дисперсии от этого случайного процесса или нет.

Таланов

Evilution писал(а):Source of the post
Обычными критериями согласия тут не обойтись,

Я сильно не понял, с чем следует согласиться? Какая гипотеза проверяется?

Evilution · Сообщение **Evilution** » 30 июн 2011, 18:21

Таланов писал(а):Source of the post
Я сильно не понял, с чем следует согласиться? Какая гипотеза проверяется?

С формулировкой гипотезы как раз и проблема. Нужно проверить, действительно ли имеющиеся дисперсии $\sigma^2_i$ принадлежат случайному процессу ${\epsilon_i}$ .

Vector · Сообщение **Vector** » 30 июн 2011, 19:10

Evilution писал(а):Source of the post
Таланов писал(а):Source of the post
Я сильно не понял, с чем следует согласиться? Какая гипотеза проверяется?

С формулировкой гипотезы как раз и проблема. Нужно проверить, действительно ли имеющиеся дисперсии $\sigma^2_i$ принадлежат случайному процессу ${\epsilon_i}$ .

Для сравнения дисперсий есть критерий Фишера или Снедекора или еще сотня. Если неизвестны законы распределения есть непараметрические критерии масштаба. Три раза перечитал Ваш пост, и так и не понял, что у Вас есть: спрогнозированные дисперсии, какие-то наблюдаемые и еще что-то.

Случайный процесс стационарный???

Evilution · Сообщение **Evilution** » 30 июн 2011, 19:22

Vector писал(а):Source of the post

Для сравнения дисперсий есть критерий Фишера или Снедекора или еще сотня. Если неизвестны законы распределения есть непараметрические критерии масштаба. Три раза перечитал Ваш пост, и так и не понял, что у Вас есть: спрогнозированные дисперсии, какие-то наблюдаемые и еще что-то.

Случайный процесс стационарный???

Да, стационарный случайный процесс. У нас есть спрогнозированные дисперсии и наблюдения. Сравнивать дисперсии тут нельзя, потому что эти дисперсии как раз от этих наблюдений (предположительно).

То есть мы имеем случайный процесс, в каждый момент времени $$i$$

которого дисперсии различны. И надо понять по наблюдениям и по спрогнозированным дисперсиям, действительно ли этот ряд дисперсий от этого ряда наблюдений.

Vector · Сообщение **Vector** » 30 июн 2011, 19:41

Evilution писал(а):Source of the post
Vector писал(а):Source of the post

Для сравнения дисперсий есть критерий Фишера или Снедекора или еще сотня. Если неизвестны законы распределения есть непараметрические критерии масштаба. Три раза перечитал Ваш пост, и так и не понял, что у Вас есть: спрогнозированные дисперсии, какие-то наблюдаемые и еще что-то.

Случайный процесс стационарный???

Да, стационарный случайный процесс. У нас есть спрогнозированные дисперсии и наблюдения. Сравнивать дисперсии тут нельзя, потому что эти дисперсии как раз от этих наблюдений (предположительно).

То есть мы имеем случайный процесс, в каждый момент времени которого дисперсии различны. И надо понять по наблюдениям и по спрогнозированным дисперсиям, действительно ли этот ряд дисперсий от этого ряда наблюдений.

Статистика процесса известна? Я так понимаю, что закон распределения один и тот же но в каждый момент времени имеет свои параметры. Если дисперсия зависит от времени, то процесс у Вас нестационарный! А как вы модель линейной регрессии применили для нестационарного процесса??? - Я думаю, что Вам должно быть больше известно про вид данного процесса, чем Вы сказали.

Evilution · Сообщение **Evilution** » 30 июн 2011, 21:58

Vector писал(а):Source of the post
Статистика процесса известна? Я так понимаю, что закон распределения один и тот же но в каждый момент времени имеет свои параметры. Если дисперсия зависит от времени, то процесс у Вас нестационарный! А как вы модель линейной регрессии применили для нестационарного процесса??? - Я думаю, что Вам должно быть больше известно про вид данного процесса, чем Вы сказали.

Процесс стационарный, но в слабой форме стационарности. Слабая форма стационарности подразумевает постоянное математическое ожидание, но различную дисперсию.

Закон распределения нормальный.

Vector · Сообщение **Vector** » 30 июн 2011, 22:36

Evilution писал(а):Source of the post
Vector писал(а):Source of the post
Статистика процесса известна? Я так понимаю, что закон распределения один и тот же но в каждый момент времени имеет свои параметры. Если дисперсия зависит от времени, то процесс у Вас нестационарный! А как вы модель линейной регрессии применили для нестационарного процесса??? - Я думаю, что Вам должно быть больше известно про вид данного процесса, чем Вы сказали.

Процесс стационарный, но в слабой форме стационарности. Слабая форма стационарности подразумевает постоянное математическое ожидание, но различную дисперсию.

Закон распределения нормальный.

Выходит у вас Марковский процесс? Теперь вы можете вывести формулу для дисперсии в зависимости от времени D(t). Как ее выведете можно будет сравнивать дисперсии теоретические с прогнозируемыми. Себя можно проверить по Монте-Карло. Генерируете 10000 выборок, для каких-нибудь отсчетов, а затем считаете среднее данных дисперсий в каждом отсчете по этим всем выборкам, в результате имеете апостериорный вектор дисперсий. Вывод для дисперсии в зависимости от времени можно делать исходя из авторегрессионной модели случайной последовательности, если не все сильно сложно.

yourdomain.com