Улучшить точность при двукратном измерении

zykov
Сообщений: 1393
Зарегистрирован: 06 янв 2016, 17:41

Улучшить точность при двукратном измерении

Сообщение zykov » 14 ноя 2017, 13:53

peregoudov писал(а):Source of the post Какая польза? Ну, а какая польза от того, что изложено в каждом учебнике про эффективные несмещенные оценки (см. пост Ian'а на первой странице)?

Оценка позволяет оценить параметр распределения. В этом её польза.
Функция с предикатом либо позволяет, либо не позволяет оценить (в зависимости от значения предиката) - т.е. оценкой не является.

peregoudov
Сообщений: 620
Зарегистрирован: 29 дек 2015, 13:17

Улучшить точность при двукратном измерении

Сообщение peregoudov » 15 ноя 2017, 17:05

zykov писал(а):Source of the post Не уловил, в чём состоит "теперешняя постановка".
В том же, в чем и прежняя --- найти оценку с минимальной дисперсией. Меняется только одно условие: если прежде мы считали, что абсолютная (не знаю уж, чем выделить, в прошлый раз выделил курсивом --- не дошло, ну, попробую жирным) погрешность измерения не зависит от значения измеряемой величины (остается постоянной во всем диапазоне измерительного прибора), то теперь мы считаем, что относительная погрешность измерения не зависит от значения измеряемой величины. Соответственно, если раньше мы за меру точности принимали абсолютную дисперсию оценки, то теперь мы за меру точности принимаем относительную дисперсию оценки.

Вообще я это выше как бы три раза уже написал... Даже с формулами.

peregoudov
Сообщений: 620
Зарегистрирован: 29 дек 2015, 13:17

Улучшить точность при двукратном измерении

Сообщение peregoudov » 15 ноя 2017, 17:08

zykov писал(а):Source of the post Функция с предикатом либо позволяет, либо не позволяет оценить (в зависимости от значения предиката) - т.е. оценкой не является.
Не совсем верно. Она позволяет оценить в любом случае, просто для некоторого множества случаев позволяет оценить более точно. И вообще, как я писал выше, про предикат можете пока забыть. И без предиката интересно получается.

zykov
Сообщений: 1393
Зарегистрирован: 06 янв 2016, 17:41

Улучшить точность при двукратном измерении

Сообщение zykov » 15 ноя 2017, 18:18

peregoudov писал(а):Source of the post И без предиката интересно получается.

Хорошо, сформулируйте конкретную задачу без предиката. Например распределение нормальное, относительная дисперсия задана и т.д. Дайте определение относительной дисперсии. По возможности кратко пожалуйста (поменьше обобщений и побольше конкретики).

peregoudov
Сообщений: 620
Зарегистрирован: 29 дек 2015, 13:17

Улучшить точность при двукратном измерении

Сообщение peregoudov » 16 ноя 2017, 11:16

Да в том-то и дело, что все сформулировано! И не один раз. И с формулами. Я не понимаю, в чем проблема? Вы можете конкретно сказать, что непонятно в постановке? (Вот Ian говорит, буковки, мол, не определены. Ну, это просто неправда, это ему просто прочитать лень.)

Без предиката --- полагаем $g(x,y)=1$.

Хотите нормальное распределение --- ладно, пусть будет нормальное, вам же считать сложнее.

Относительная дисперсия определена выше
peregoudov писал(а):Source of the post В качестве же меры точности оценки используется теперь относительное квадратичное уклонение

$$ \frac{\overline{(f(x,y)-z)^2}}{z^2}. $$

zykov
Сообщений: 1393
Зарегистрирован: 06 янв 2016, 17:41

Улучшить точность при двукратном измерении

Сообщение zykov » 16 ноя 2017, 14:01

peregoudov писал(а):Source of the post И вот тут нас ожидает сюрприз: среднее $(x+y)/2$ уже не является наилучшей оценкой! Например, для прямоугольного распределения

$$ \tilde p(\xi;\delta)=\begin{cases} 1,&|\xi-1|<\delta,\\ 0,&|\xi-1|>\delta \end{cases} $$

Я так понимаю, это равномерное распределение с известным средним (равно 1) и неизвестной шириной ($$ \delta $$). Верно?

peregoudov писал(а):Source of the post оптимальной оценкой будет вот такой крокодил

$$ f(x,y)=\frac4{3(1-\delta^2)}\frac{(\tilde x^2+\tilde x\tilde y+\tilde y^2)\tilde x\tilde y}{(\tilde x^2+\tilde y^2)(\tilde x+\tilde y)}, $$

Оценкой чего?
Среднее оценивать нет смысла. Оно и так известно (равно 1).
Это оценка $$ \delta $$?

zykov
Сообщений: 1393
Зарегистрирован: 06 янв 2016, 17:41

Улучшить точность при двукратном измерении

Сообщение zykov » 16 ноя 2017, 14:07

peregoudov писал(а):Source of the post Относительная дисперсия определена выше

peregoudov писал(а):
Source of the post В качестве же меры точности оценки используется теперь относительное квадратичное уклонение

$$ \frac{\overline{(f(x,y)-z)^2}}{z^2}. $$

Хорошо.
Взяли нормальное распределение с известной дисперсией $$\sigma$$ и неизвестным матожиданием $$z$$.
Провели минимизацию функционала и нашли $$f(x,y)$$.
Вообще говоря, получилось что $$f(x,y)$$ зависит от $$\sigma$$ и $$z$$.
Как будете оценивать $$z$$?

zykov
Сообщений: 1393
Зарегистрирован: 06 янв 2016, 17:41

Улучшить точность при двукратном измерении

Сообщение zykov » 16 ноя 2017, 15:41

peregoudov писал(а):Source of the post Хотите нормальное распределение --- ладно, пусть будет нормальное, вам же считать сложнее.

Ради интереса применил maximum likelihood к нормальному распределению с неизвестным матожиданием [math] и известной относительной дисперсией [math] (абсолютная дисперсия [math]).

Получилось что оценка [math] находится из квадратного уравнения [math].
(В пределе [math] и [math], так что будет [math].)


PS: Сразу оговорюсь, что согласно wiki (Maximum likelihood estimation) для маленьких выборок эта оценка не обещает оптимальности ("Maximum-likelihood estimators have no optimum properties for finite samples"). Но имеются полезные свойства в пределе больших выборок.

peregoudov
Сообщений: 620
Зарегистрирован: 29 дек 2015, 13:17

Улучшить точность при двукратном измерении

Сообщение peregoudov » 16 ноя 2017, 17:49

zykov писал(а):Source of the post Я так понимаю, это равномерное распределение с известным средним (равно 1) и неизвестной шириной ($$ \delta $$). Верно?
Нет, конечно! Это уже отнормированное распределение. $\xi$ --- это не $x$, а отношение $x$ к истинному значению $z$, $\xi=x/z$. Поэтому это на самом деле функция распределения $\tilde p(x/z;\delta)$ с неизвестным средним и известной относительной шириной.

zykov писал(а):Source of the post Оценкой чего?
Среднее оценивать нет смысла. Оно и так известно (равно 1).
Это оценка $$ \delta $$?
Наоборот, это как раз оценка среднего $z$. И она лучше, чем просто среднее арифметическое, что легко проверяется численным статистическим моделированием.

zykov писал(а):Source of the post Взяли нормальное распределение с известной дисперсией $$\sigma$$ и неизвестным матожиданием $$z$$.
Провели минимизацию функционала и нашли $$f(x,y)$$.
Вообще говоря, получилось что $$f(x,y)$$ зависит от $$\sigma$$ и $$z$$.
Нет, не так. Взяли $f(x,y)$ из класса однородных функций первой степени и получили, что относительная ее дисперсия не зависит от $z$. От $\delta$ (или $\sigma$, как больше нравится), естественно, зависит, как и вообще от формы функции распределения погрешностей исходных измерений. А дальше да, минимизируем (квадратичный по $f$) функционал, он у меня тоже выше выписан (только кладем $\tilde g=1$)
peregoudov писал(а):Source of the post
$$ \frac{\overline{(f(x,y)-z)^2}}{z^2}= \frac{\int\tilde p(uv^{1/2})\tilde p(uv^{-1/2})\tilde g(v)(u\tilde f(v)-1)^2\frac uv\,du\,dv} {\int\tilde p(uv^{1/2})\tilde p(uv^{-1/2})\tilde g(v)\frac uv\,du\,dv}. $$
и получаем те формулы для оценки, которые я тоже уже приводил
peregoudov писал(а):Source of the post
$$ f(x,y)=yl_1(x/y)/l_2(x/y),\quad l_n(v)=\int p(vs)p(s)s^n|s|\,ds,\quad p(s)=\exp\!\left(-\frac{(s-1)^2}{2\delta^2}\right). $$

peregoudov писал(а):Source of the post
$$ f(x,y)=\frac4{3(1-\delta^2)}\frac{(\tilde x^2+\tilde x\tilde y+\tilde y^2)\tilde x\tilde y}{(\tilde x^2+\tilde y^2)(\tilde x+\tilde y)}, $$

где при $x>y$ имеем $\tilde x=(1-\delta)x$, $\tilde y=(1+\delta)y$, в противном случае нужно поменять $x$ и $y$ местами.
для нормального и прямоугольного распределений соответственно (формула для нормального есть фактически общая формула, можно в нее подставлять любое распределение).

zykov писал(а):Source of the post Получилось что оценка μ находится из квадратного уравнения.
Да, таким способом тоже получается однородная функция первой степени --- но не среднее арифметическое. Но эта оценка (для двух измерений) --- не самая лучшая, самую лучшую я процитировал выше (и в том, что она лучше вашей, опять-таки легко убедиться прямым статистическим моделированием).

zykov
Сообщений: 1393
Зарегистрирован: 06 янв 2016, 17:41

Улучшить точность при двукратном измерении

Сообщение zykov » 16 ноя 2017, 19:03

peregoudov писал(а):Source of the post и получили, что относительная ее дисперсия не зависит от $z$.

Вот этого не понял. Почему? Как это видно?

zykov
Сообщений: 1393
Зарегистрирован: 06 янв 2016, 17:41

Улучшить точность при двукратном измерении

Сообщение zykov » 17 ноя 2017, 01:03

peregoudov писал(а):Source of the post Но эта оценка (для двух измерений) --- не самая лучшая

Да, я про это писал, что она хороша при большой выборке.

Вообще почему люди интересуются эффективностью на больших выборках, а не на малых? Потому что на маленькой выборке всё равно высокой точности не получить (тем более на двух samples). Вот никому и не интересно оптимизировать оценку для выборки из двух элементов. Польза практически отсутствует (ну будет она чуть поточнее просто среднего - ну и что?).
Для высокой точности по-любому нужна большая выборка и соответственно оценка по большой выборке.

peregoudov
Сообщений: 620
Зарегистрирован: 29 дек 2015, 13:17

Улучшить точность при двукратном измерении

Сообщение peregoudov » 17 ноя 2017, 13:47

zykov писал(а):Source of the post Вот этого не понял. Почему? Как это видно?
Относительная дисперсия оценки равна

$$ \frac{\overline{(f(x,y)-z)^2}}{z^2}=\frac1{z^2}\frac{\int dx\,dy\,p(x;z)p(y;z)(f(x,y)-z)^2}{\int dx\,dy\,p(x;z)p(y;z)}, $$

если $f$ однородная первой степени, а $p(x;z)=\tilde p(x/z)$, то заменой переменных $x=zx'$, $y=zy'$ истинное значение $z$ из правой части полностью изгоняется. Ровно так же, как оно изгонялось на первой странице в случае "сдвиговой симметрии".

zykov писал(а):Source of the post Вообще почему люди интересуются эффективностью на больших выборках, а не на малых?
По инерции :lol:

zykov
Сообщений: 1393
Зарегистрирован: 06 янв 2016, 17:41

Улучшить точность при двукратном измерении

Сообщение zykov » 17 ноя 2017, 15:09

peregoudov писал(а):Source of the post значение $z$ из правой части полностью изгоняется

Понятно. Спасибо!

peregoudov писал(а):Source of the post По инерции

Не понятно?
Объясню на пальцах.
Вот у Вас было измерение с низкой точностью [math]. Вы придумали как улучшить эту точность до [math].
Точность улучшилась? Формально да. Но существенно ли? Нет. Как была низкой, так и осталась. Хрен редьки не слаще.
Но вот если Вы улучшили точность до [math], то это уже значительный результат. Но на выборке из двух элементов такое не получить. Нужно увеличивать размер выборки.

peregoudov
Сообщений: 620
Зарегистрирован: 29 дек 2015, 13:17

Улучшить точность при двукратном измерении

Сообщение peregoudov » 17 ноя 2017, 15:40

Ага, в сто раз :lol:

Я ведь не спорю, что никакого практического значения эта возня не имеет, вот даже сам привел пример, на сколько возрастает точность
peregoudov писал(а):Source of the post Крокодил дает уклонение

$$ \frac{\overline{(f(x,y)-z)^2}}{z^2}=\frac19 \left[1-\frac{1-\delta^2}{\delta^2}\ln(1+\delta^2)\right]=\frac{\delta^2}6-\frac{5\delta^4}{54}+\ldots $$

--- меньшее, чем среднее арифметическое ($\delta^2\!/6$).
Даже при ваших слоновьих 30% повышаем всего до 25%...

zykov
Сообщений: 1393
Зарегистрирован: 06 янв 2016, 17:41

Улучшить точность при двукратном измерении

Сообщение zykov » 17 ноя 2017, 15:50

Отлично. Вопросов нет.

zykov
Сообщений: 1393
Зарегистрирован: 06 янв 2016, 17:41

Улучшить точность при двукратном измерении

Сообщение zykov » 17 ноя 2017, 16:36

Кстати, здесь вот вроде опечатка:
peregoudov писал(а):Source of the post $$ \frac{\overline{(f(x,y)-z)^2}}{z^2}=\frac19 \left[1-\frac{1-\delta^2}{\delta^2}\ln(1+\delta^2)\right]=\frac{\delta^2}6-\frac{5\delta^4}{54}+\ldots $$

[math]

peregoudov
Сообщений: 620
Зарегистрирован: 29 дек 2015, 13:17

Улучшить точность при двукратном измерении

Сообщение peregoudov » 20 ноя 2017, 14:48

:lol: Да, я тоже поначалу вляпался. Нет, все верно, просто надо логарифм до следующего члена раскладывать.

Аватар пользователя
Ian
Сообщений: 960
Зарегистрирован: 18 янв 2016, 19:42

Улучшить точность при двукратном измерении

Сообщение Ian » 21 ноя 2017, 09:08

Я тоже был в такой ситуации, наняли меня на зарплату чтобы я решил статистическую задачу, сравнение двух выборок, и результатом работы должен был быть меморандум по теории+ численный расчет. Ну хочется иногда работодателю хоть на месяц почувствовать себя спонсором фундаментальной науки. И я много написал, подтащил к исследованию 4-й центральный момент выборок (хотя ни до, ни после никто этого не делает, и правильно).И с гордостью получал зарплату. Можно было свести к исследованию по Т-критерию, он в те времена только в английских книжках существовал, я их видел, но тогда за что зарплата.
Поскольку мерой относительной ошибки может служить абсолютная ошибка логарифма, то можно поставить , формально другую, задачу о минимизации дисперсии оценки логарифма данной случайной величины.Если СВ была распределена равномерно, то логарифм экспоненциально, получается стандартная (но другая) задача -найти оценку максимального правдоподобия(ОМП) для экспоненциального распределения, она и будет оптимальной, и с ней сравните свой результат. Понятно, что в ваших критериях е в степени эта оценка получится хуже вашей, но лучше средней арифметической, а в своих критериях она а не ваша оптимальна по определению (точнее, по теореме, когда ОМП дает оптимальную оценку)
Но так или иначе, Вам есть что предъявить работодателю)

peregoudov
Сообщений: 620
Зарегистрирован: 29 дек 2015, 13:17

Улучшить точность при двукратном измерении

Сообщение peregoudov » 22 ноя 2017, 16:55

Хотел бы я быть таким умным, как моя жена потом...

Тут ситуация с финансированием несколько другая: у заказчика завиральная идея, что можно хитрой обработкой двух измерений существенно повысить точность. И я призван, чтобы это обосновать. Ну, я его сразу предупредил, что обосновать я могу только верные утверждения, поэтому, если вдруг его идея ошибочна, то обоснуя я прямо противоположное тому, что он хочет. Это его, однако, не остановило.

Следующий логический шаг --- это отказ от однородности (в аддитивном или мультипликативном виде) оценки. Тогда нужно привлекать априорный интервал, в котором лежит измеряемая величина. Я прикинул простейший случай $f(x,y)=f_0(v)+u*f_1(v)$, $u$ и $v$ --- полусумма и разность $x$ и $y$. Тоже получается выигрыш по сравнению со средним, в процентном отношении --- порядка отношения дисперсии исходного измерения к квадрату априорного интервала.

peregoudov
Сообщений: 620
Зарегистрирован: 29 дек 2015, 13:17

Улучшить точность при двукратном измерении

Сообщение peregoudov » 28 ноя 2017, 11:50

Так, возник новый прямой вопрос. Вот есть стандартный результат, что дисперсия среднего арифметического двух измерений вдвое меньше дисперсии отдельного измерения. И этот результат не зависит ни от истинного значения измеряемой величины, ни от распределения погрешностей. Можно ли показать, что этот результат неулучшаемый? То есть можно ли показать, что любая другая оценка (не среднее арифметическое) для какого-то истинного значения и для какого-то распределения погрешностей будет хуже?


Вернуться в «Математика»

Кто сейчас на форуме

Количество пользователей, которые сейчас просматривают этот форум: нет зарегистрированных пользователей и 12 гостей