на чем основывается оценка точности модели
На чем основывается оценка точности модели
Ошибка аппроксимации Характеризует допуск прогноза или степень несоответствия эмпирической зависимости теоретической. Применяется для оценки точности модели Меньше (точнее) 15 % [c.230]
Последовательность построения модели заключается в выявлении взаимосвязей между переменными, в выборе методов для оценки входных параметров и в оценке точности модели. [c.340]
Для оценки точности модели (5.3) используется ряд критериев, в которых применяются так называемые статистики или статистические характеристики [c.70]
| Рис. 3.3. Оценка точности модели процесса пылеулавливания |  |
| Рис. 3.4. Оценка точности модели испарительного охлаждения воды |  |
| Рис. 3.6. Оценка точности модели процесса термической десорбции из воды кислорода и диоксида углерода |  |
Оценка точности и экономический смысл полученной регрессионной модели [c.83]
Основные оценки моделей. При выполнении регрессионного анализа нужно получить оценки, позволяющие оценить точность модели и вероятность ее существования. При нормальном законе распределения эти условия будут удовлетворены, если оценить [c.89]
Однако результаты, связанные с анализом точности модели, оценкой значимости и построением интервальных оценок ее коэффициентов, оказываются непригодными. [c.157]
Стандартное отклонение для оценки значений зависимой переменной в регрессионной модели, служит для характеристики точности модели. [c.471]
В-третьих, в моделях с распределенным лагом часто возникает проблема автокорреляции остатков. Вышеуказанные обстоятельства приводят к значительной неопределенности относительно оценок параметров модели, снижению их точности и получению неэффективных оценок. Чистое влияние факторов на результат в таких условиях выявить невозможно. Поэтому на практике параметры моделей с распределенным лагом проводят в предположении определенных ограничений на коэффициенты регрессии и в условиях выбранной структуры лага. [c.295]
Чтобы получить оценки точности у, решение модели необходимо приближенно представить в виде линейной функции параметров, разлагая это решение в ряд относительно оценок этих параметров линеаризацией. [c.219]
Отметим, что указанный способ дает ожидаемое значение пенсионных выплат, основанное на среднегодовом размере пенсий, усредненном по всем категориям. Оценка ожидаемого значения пенсионных выплат была бы более точной, если бы была возможность делать вычисления по указанной формуле для каждой категории пенсионеров (или хотя бы для групп категорий), так как показания смертности для различных категорий пенсионеров, получающих пенсии отличающихся размеров, могут быть различными, например среди пенсионеров по возрасту и пенсионеров по инвалидности. Дня того чтобы была возможной такая более точная оценка, нужно иметь таблицы жизни для каждой из категорий пенсионеров (так называемые селективные таблицы жизни). К сожалению, для составления таких таблиц в Республике Беларусь не ведется соответствующая статистика. Вместе с тем следует отметить, что, с одной стороны, такой более точный подход является и более сложным. С другой стороны, в период развития республики, когда экономические показатели еще не достигли своих стабильных значений, применение этого подхода может оказаться неоправданным, так как увеличение точности модели будет смазываться более изменчивым поведением реальных экономических показателей. [c.247]
В-третьих, если говорить о точности и корректности оценок, то модель САРМ считается предпочтительной, так как оценить будущий размер дивиденда и его темп прироста сложно, лишь с большой долей условности можно говорить о том, что прирост дивиденда по годам может составлять постоянную величину g. И, наконец, оценивая требуемый инвесторами уровень доходности, более корректно основываться на рыночных требованиях, а не на фактических ожиданиях. [c.306]
Стоимость собственного капитала корпорации может быть оценена на основе позитивной модели дивидендного роста (DGM) или нормативной модели стоимости капитальных (долгосрочных) активов (САРМ). Если говорить о точности и корректности оценок, то модель САРМ считается предпочтительной, так как, оценивая требуемый инвесторами уровень доходности, можно более корректно основываться на рыночных требованиях, а не на фактических ожиданиях. [c.354]
Решение основных задач по оценке точности нелинейной регрессионной модели. Подчеркнем два главных отличия данного случая от линейного, рассмотренного в 11.1. Во-первых, используемые для построения доверительных интервалов свойства состоятельных мнк-оценок 0 — несмещенность, оптимальность, нормальность, а также свойства б), в) и г) из п. 11.1.1 справедливы лишь в асимптотическом (по п-+- оо) смысле. Во-вторых, следует учитывать приближенный характер базовых соотношений (11.24) и соответственно (11.25) и (11.26). Следует признать, что возможны различные уточнения описываемого здесь приближенного подхода [1611. Однако вряд ли они существенно усовершенствуют предлагаемые в данном параграфе практические рекомендации ведь даже так называемые точные критерии и доверительные интервалы на практике оказываются всего лишь приближенными (они точны лишь в той мере, в какой соблюдаются в реальной ситуации те идеализированные допущения, на которых строятся соответствующие статистические выводы). Поэтому, говоря о том, что интересующая нас погрешность не превзойдет определенной величины с доверительной вероятностью, например, равной 0,95, мы должны всегда отдавать себе отчет в приближенном характере подобных заключений. [c.355]
Учитывая сделанное замечание, читатель может использовать для приближенного решения трех основных задач оценки точности нелинейной регрессионной модели соотношения (11.16), (11.18 ) и (11.19) предыдущего параграфа с заменой [c.355]
Решение задач оценки точности линейной (по оцениваемым параметрам) модели регрессии в рамках идеализированной [c.360]
Еще выделяют прогноз на предстоящий период, выработанный в ходе исследования настоящего и прошлого, и прогноз, предсказывающий прошлые (уже известные) значения исследуемых переменных на основе данных, предшествовавших последним. Этот прогноз нужен для проверки точности всей прогнозной модели, а значит, для оценки точности прогноза на будущее. [c.507]
Итогом работ по выбору вида математической модели прогноза является формирование ее обобщенных характеристик. В обобщенную характеристику должны быть включены вид уравнения регрессии, значения его параметров, оценки точности и адекватности модели и сами прогнозные оценки, точечные и интервальные. [c.185]
Дополнительной оценкой точности аппроксимации в нелинейных моделях является средняя относительная ошибка аппроксимации [c.131]
Однако необходимая точность, полученная при анализе исходных (прошлого периода) данных, не дает оснований использовать модели для прогнозирования и планирования. Необходимо проводить ретроспективный анализ. Для этого были выбраны модели удельных затрат по отдельным подсистемам и себестоимости добычи нефти в целом (27) — (34). Массив исходных данных при этом делится на две части подмассив данных по всем районам до f-ro года, на базе которого строятся модели, и подмассив данных с f-ro года для планового периода, который используется для расчета «планового» уровня затрат, отклонения «планового» уровня от фактического и оценки точности модели при различной длительности периода упреждения. [c.63]
Оценка качества моделей классификации представляет собой сложную задачу, потому что в большинстве реальных приложений цена ошибок неодинакова. Так например, отказ в кредите хорошему клиенту влечет за собой лишь организационные расходы на поиск нового клиента, тогда как предоставление кредита ненадежному партнеру может привести к большим убыткам. Из-за этой несимметрии денежных потоков при определении степени точности модели необходимо учитывать последствия того или иного прогноза. Качество прогнозирования банкротств определяется и тем, насколько точно выявляются банкроты, и тем, насколько точно классифицируются небанкроты. Необнаружение компании-банкрота называется ошибкой 1-го рода, а прогноз банкротства, которого на самом деле не последовало, — ошибкой 2-го рода. [c.203]
Пьесе и Вуд [217] провели сравнительную оценку Z-модели Альтмана с аналогами моделей Datastream и
Оценка точности модели
Наряду с характеристиками адекватности модели при оценивании качества модели необходимо учитывать ее точность.
Как правило, о точности модели и прогноза судят по величине погрешности (ошибки). Ошибка прогноза это расхождение между фактическим и прогнозируемым значением исследуемого показателя. Использование данного подхода к оценке точности возможно только в том случае, когда период упреждения закончился, и исследователи имеют фактические значения на период упреждения или когда разрабатывается ретропрогноз.
Ретроспективное прогнозирование разрабатывается для некоторого момента времени в прошлом, для которого имеются фактические данные. В этом случае имеющаяся информация делится на две части. Первая часть, включающая более ранние данные, используется для подбора математической модели. По построенной математической модели дается прогноз на последующий оставшийся период времени. Прогнозные качества модели оцениваются по более поздним данным второй части ряда. Полученные ошибки прогноза в какой-то мере характеризуют точность подобранных моделей и могут использоваться при сопоставлении различных моделей прогнозирования. В то же время при использовании ошибки ретроспективного прогноза в качестве меры точности необходимо учитывать, что она получена при использовании только части имеющихся данных. При использовании полного объема имеющихся данных трансформируется вид подобранной модели, и изменяются значения критериев точности и качества.
Отметим, что если ретроспективное прогнозирование осуществляется по модели, содержащей одну или несколько экзогенных переменных, точность прогноза будет определяться точностью определения значения этих переменных на период упреждения. В этом случае возможны два способа определения значений экзогенных переменных: либо воспользоваться фактическими известными значениями экзогенных переменных либо ожидаемыми их значениями. Естественно, что точность прогноза в первом случае будет выше.
Наличие данных о реализации прогнозов дает возможность оценить качество прогнозов величиной:
,
где р – число прогнозов, подтвержденных фактическими данными (фактическая реализация охвачена интервальным прогнозом);
q – число прогнозов, не подтвержденных фактическими данными.
Использование коэффициентов 
для разных моделей имеет смысл в том случае, если доверительные вероятности прогнозов приняты одинаковыми.
В том случае, если прогноз дается в виде точечной оценки, в качестве показателей точности прогноза могут использоваться такие статистические характеристики как средняя абсолютная и среднеквадратическая ошибка прогноза.
Г. Тейлом предложен в качестве меры качества прогноза коэффициент расхождения (или коэффициент несоответствия):
,
где 
— соответственно предсказанное и фактическое значение переменной. Коэффициент 
, когда 
(случай совершенного прогнозирования). Коэффициент 
, когда экстраполяция строится исходя из неизменности приростов. Коэффициент 
, прогноз дает худшие результаты, чем прогноз методом простой экстраполяции.
Рассмотренные выше показатели точности прогноза можно использовать только в случае наличия истинных значений величин, оцениваемых при разработке прогноза. Согласно этому различают апостериорную точность моделей, которая может быть определена только после практического использования модели, и априорную точность моделей. Априорную или предполагаемую точность оценивают в условиях отсутствия информации о результатах эксплуатации модели. Исследуя априорную точность модели, мы охарактеризуем только точность аппроксимации.
Чаще всего в качестве показателей точности применяются следующие показатели: абсолютная ошибка 
, средняя абсолютная ошибка 
, средняя квадратическая ошибка 
, относительная ошибка 
, средняя относительная ошибка 
, коэффициент сходимости, коэффициент детерминации
Абсолютная ошибка прогноза определяется как разность между фактическим значением и его оценкой, полученной расчетным путем по модели:
,
среднее абсолютное значение ошибки:
.
Средняя квадратическая ошибка прогноза рассчитывается по формуле:
,
где п — период упреждения,
k – число оцениваемых параметров модели.
Недостатком рассмотренных характеристик является их зависимость от масштаба измерения значений исследуемого показателя.
В связи с этим более удобными являются относительные значения этих величин. Относительная ошибка рассчитывается следующим образом:
,
а средняя относительная ошибка определяется следующим образом:
.
Последний показатель чаще других используется при сравнении точности прогнозов, осуществляемых по различным методикам. Обычно лучшим признается тот прогноз, который имеет меньшее значение этого показателя. Принято считать, что если значение средней относительной ошибки менее 3-5%, то точность хорошая; если значение средней относительной ошибки не превышает 10%, то точность хорошая; от 10% до 15% точность удовлетворительная.
Коэффициент сходимости определяется по следующей формуле:
,
чем меньше значение коэффициента сходимости, чем лучше точность модели.
Коэффициент детерминации определяется по формуле:
,
и поэтому чем больше значение коэффициента детерминации, тем лучше точность модели.
Для выбора лучшей модели можно использовать один из рассмотренных показателей либо воспользоваться обобщенным критерием.
Пример. Оценить адекватность и точность модели Хольта, построенной в параграфе 5.3.
Решение. В таблице 5.2 приведены ошибки аппроксимации 
, на основе которых будет оцениваться адекватность модели. Проверку случайности колебаний уровней остаточной компоненты проведем, используя критерий поворотных точек. На рис. 6.2 представлен ряд остатков, количество поворотных точек равно 15.
Рис. 6.2. Оценка адекватности модели. Ряд остатков.
При n=36: 
. Неравенства 15>17 не выполняется, следовательно, ряд остатков не является случайным.
Анализ соответствия ряда остатков нормальному закону распределения проведем по RS – критерию:
.
Так как остаточная компонента распределена по нормальному закону, то осуществим проверку равенства математического ожидания остаточной компоненты нулю с помощью t-критерия Стьюдента:
 |
Расчетное значение t-критерия больше табличного значения tα статистики Стьюдента 
, следовательно, гипотеза о равенстве нулю математического ожидания уровней ряда остатков не принимается.
Независимость уровней в ряде остатков проверим по критерию Дарбина–Уотсона (таб. 6.3).
Расчет d-значения Дарбина–Уотсона
| t | |  |  |  |
| -23.500 | 552.25 | |||
| -415.390 | -391.890 | 153577.772 | 172548.852 | |
| 2553.781 | 2969.171 | 8815978.8 | 6521799.44 | |
| 4108.015 | 1554.234 | 2415642.82 | 16875789.2 | |
| 1357.017 | -2750.998 | 7567992.09 | 1841494.74 | |
| 3047.488 | 1690.471 | 2857692.36 | 9287182.51 | |
| 4611.776 | 1564.288 | 2446997.23 | 21268477.8 | |
| 2226.788 | -2384.988 | 5688168.37 | 4958584.19 | |
| -2442.290 | -4669.078 | 5964779.36 | ||
| 2620.809 | 5063.099 | 25634971.3 | 6868640.89 | |
| 7156.526 | 4535.717 | 20572724.5 | 51215860.7 | |
| -255.774 | -7412.299 | 54942183.2 | 65420.1907 | |
| -1964.630 | -1708.857 | 2920190.74 | 3859772.09 | |
| -3692.014 | -1727.384 | 2983855.54 | 13630969.5 | |
| -5152.421 | -1460.407 | 2132789.2 | 26547447.2 | |
| -2101.028 | 3051.394 | 9311004.57 | 4414317.05 | |
| 3571.246 | 5672.274 | 32174688.1 | 12753798.1 | |
| 7739.490 | 4168.244 | 17374260.7 | 59899710.6 | |
| 4171.509 | -3567.981 | 12730490.5 | 17401487.7 | |
| -1955.050 | -6126.559 | 37534730.7 | 3822222.1 | |
| -3465.610 | -1510.560 | 2281790.33 | 12010452.8 | |
| -2395.256 | 1070.354 | 1145657.1 | 5737252.69 | |
| -445.847 | 1949.410 | 3800197.94 | 198779.235 | |
| 1050.970 | 1496.817 | 2240461.18 | 1104538.71 | |
| 694.152 | -356.818 | 127319.3 | 481847.09 | |
| 2752.621 | 2058.469 | 4237296.08 | 7576924.68 | |
| 7090.334 | 4337.713 | 18815752.4 | 50272839.5 | |
| 7485.321 | 394.987 | 156014.473 | ||
| 3824.177 | -3661.144 | 13403973.2 | 14624331.3 | |
| 2773.655 | -1050.522 | 1103597.19 | 7693161.27 | |
| 3953.251 | 1179.597 | 1391448.08 | 15628196.9 | |
| 3253.170 | -700.082 | 490114.569 | 10583112.5 | |
| 3170.670 | -82.500 | 6806.172 | 10053148.7 | |
| -134.635 | -3305.305 | 10925041.8 | 18126.5898 | |
| -2869.411 | -2734.776 | 7478999.31 | 8233519.15 | |
| -1039.034 | 1830.377 | 3350281.25 | 1079590.8 | |
| сумма |
Расчетное d-значение равно:
.
Расчетное значение d-критерия сравним с двумя табличными значениями Дарбина—Уотсона (1,41; 1,52). Так как расчетное d-значение меньше нижнего табличного значения d1=1,41, то гипотеза о независимости ряда остатков отвергается и модель неадекватна.
Результаты оценки модели на адекватность приведены в таблице 6.4.
Результаты оценки модели на адекватность
| Проверяемое свойство | вывод |
| Случайность | неадекватна |
| Нормальность | адекватна |
| Среднее | неадекватна |
| Независимость | неадекватна |
| Вывод: модель статистически неадекватна |
Средняя относительная ошибка равна (таб. 5.2):
.
Оцениваемая модель не является адекватной, и несмотря на хорошую точность не может использоваться для прогнозирования.
Контрольные вопросы и задания
1. Когда модель считается адекватной экономическому процессу?
2. Какие свойства остаточной компоненты проверяются при оценке адекватности модели? Какие статистические критерии при этом используются?
3. Поясните суть ретроспективного прогнозирования.
4. Какие статистические характеристики используются для оценки точности модели?
5. По результатам выполнения задания 9 (глава 5) оценить адекватность и точность модели Брауна с параметром сглаживания α=0,2 и α=0,6.
Глава 7. Применение регрессионных моделей для прогнозирования
Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет
Оценка точности и достоверности результатов
Оценка качества модели является завершающим этапом ее разработки и преследует две цели:
— проверить соответствие модели ее предназначению (целям исследования);
— оценить достоверность и статистические характеристики результатов, получаемых при проведении модельных экспериментов.
При аналитическом моделировании достоверность результатов определяется двумя основными факторами:
— корректным выбором математического аппарата, используемого для описания исследуемой системы;
— методической ошибкой, присущей данному математическому методу.
При имитационном моделировании на достоверность результатов влияет целый ряд дополнительных факторов, основными из которых являются:
— моделирование случайных факторов, основанное на использовании датчиков случайных чисел, которые могут вносить «искажения» в поведение модели;
— наличие нестационарного режима работы модели;
— использование нескольких разнотипных математических методов в рамках одной модели;
— зависимость результатов моделирования от плана эксперимента;
— необходимость синхронизации работы отдельных компонент модели;
— наличие модели рабочей нагрузки, качество которой зависит, в свою очередь, от тех же факторов.
Пригодность имитационной модели для решения задач исследования характеризуется тем, в какой степени она обладает так называемыми целевыми свойствами. Основными из них являются:
Далее рассмотрены некоторые способы проведения оценки модели по каждому из них [3,18].
Оценка адекватности
В общем случае под адекватностью понимают степень соответствия модели тому реальному явлению или объекту, для описания которого она строится.
Вместе с тем, создаваемая модель ориентирована, как правило, на исследование определенного подмножества свойств этого объекта. Поэтому можно считать, что адекватность модели определяется степенью ее соответствия не столько реальному объекту, сколько целям исследования. В наибольшей степени это утверждение справедливо относительно моделей проектируемых систем (то есть в ситуациях, когда реальная система вообще не существует).
Процедура оценки основана на сравнении измерений на реальной системе и результатов экспериментов на модели и может проводиться различными способами. Наиболее распространенные из них:
— по средним значениям откликов модели и системы;
— по дисперсиям отклонений откликов модели от среднего значения откликов системы;
— по максимальному значению относительных отклонений откликов модели от откликов системы.
Названные способы оценки достаточно близки между собой по сути, поэтому ограничимся рассмотрением первого из них. При этом способе проверяется гипотеза о близости среднего значения наблюдаемой переменной Y среднему значению отклика реальной системы Y*.
В результате N0 опытов на реальной системе получают множество значений (выборку) Y*. Выполнив NM экспериментов на модели, также получают множество значений наблюдаемой переменной Y.
Затем вычисляются оценки математического ожидания и дисперсии откликов модели и системы, после чего выдвигается гипотеза о близости средних значений величин Y* и Y (в статистическом смысле). Основой для проверки гипотезы является t-статистика (распределение Стьюдента). Ее значение, вычисленное по результатам испытаний, сравнивается с критическим значением tкр, взятым из справочной таблицы. Если выполняется неравенство tn Uкр (Uкр определяют по таблице для заданного уровня значимости).
Оценка чувствительности ИМ. Очевидно, что устойчивость является положительным свойством модели. Однако если изменение входных воздействий или параметров модели (в некотором заданном диапазоне) не отражается на значениях выходных параметров, то польза от такой модели невелика (ее можно назвать «бесчувственной»). В связи с этим возникает задача оценивания чувствительности модели к изменению параметров рабочей нагрузки и внутренних параметров самой системы.
Такую оценку проводят по каждому параметру Хk в отдельности. Основана она на том, что обычно диапазон возможных изменений параметра известен. Одна из наиболее простых и распространенных процедур оценивания состоит в следующем.
1. вычисляется величина относительного среднего приращения параметра Xk:
;
2. проводится пара модельных экспериментов при значениях Хk = Хkmax и Xk=Xkmin и средних фиксированных значениях остальных параметров. Определяются значения отклика модели Y1=f(Хkmax) и Y2 =f(Хkmin);
3. вычисляется ее относительное приращение наблюдаемой переменной Y:
В результате для k-го параметра модели имеют пару значений (ΔХk, ΔYk), характеризующую чувствительность модели по этому параметру.
Аналогично формируются пары для остальных параметров модели, которые образуют множество <ΔХk, ΔYk>.
Данные, полученные при оценке чувствительности модели, могут быть использованы, в частности, при планировании экспериментов: большее внимание должно уделяться тем параметрам, по которым модель является более чувствительной.
Калибровка модели
Если в результате проведенной оценки качества модели оказалось, что ее целевые свойства не удовлетворяют разработчика, необходимо выполнить ее калибровку, то есть коррекцию с целью приведения в соответствие предъявляемым требованиям. Как правило, процесс калибровки носит итеративный характер и состоит из трех основных этапов:
— глобальные изменения модели (например, введение новых процессов, изменение типов событий и т. д.);
— локальные изменения (в частности, изменение некоторых законов распределения моделируемых случайных величин);
— изменение специальных параметров, называемых калибровочными.
На первый взгляд, структурные изменения модели, как более сложные, должны рассматриваться только после того, как все попытки калибровки модели путем изменения параметров и локальных модификаций окажутся безуспешными. Однако такая стратегия может скрыть структурное несоответствие или недостаточную степень детальности модели. В этом смысле начинать калибровку с внесения глобальных изменений значительно безопаснее.
Вообще целесообразно объединить оценку целевых свойств ИМ и ее калибровку в единый процесс.
Процедура калибровки состоит из трех шагов, каждый из которых является итеративным
1. дополнительная проверка качества датчиков случайных чисел;
2. снижение влияния переходного режима;
3. применение специальных методов понижения дисперсии.
Контрольные вопросы
1. Для чего нужна оценка точности модели?
2. Как определить достоверность результатов имитационных моделей?
3. Дайте формальную оценку адекватности, устойчивости и чувствительности модели.