Проверка адекватности модели

При моделировании исследователя прежде всего интересует, насколько хорошо модель представляет моделируемую систему (объект моделирования). Модель, поведение которой слишком отличается от поведения моделируемой системы, практически бесполезна. Различают модели существующих и проектируемых систем. Если реальная система (или ее прототип) существует, дело обстоит достаточно просто. Поэтому для моделей существующих систем исследователь должен выполнить проверку адекватности имитационной модели объекту моделирования, т.е. проверить соответствие между поведением реальной системы и поведением модели. На реальную систему воздействуют переменные G *, которые можно измерять, но нельзя управлять, параметры Х *, которые исследователь может изменять в ходе натурных экспериментов. На выходе системы возможно измерение выходных характеристик Y *.

При этом существует некоторая неизвестная исследователю зависимость между ними Y*= f*(Х*, G*).

Имитационную модель можно рассматривать как преобразователь входных переменных в выходные. В любой имитационной модели различают составляющие: компоненты, переменные, параметры, функциональные зависимости, ограничения, целевые функции. Модель системы определяется как совокупность компонент, объединенных для выполнения заданной функции Y= f (Х, G). Здесь Y, Х, G – векторы соответственно результата действия модели системы выходных переменных, параметров моделирования, входных переменных модели. Параметры модели Х исследователь выбирает произвольно, G – принимают только те значения, которые характерны для данных объекта моделирования. Очевидный подход в оценке адекватности состоит в сравнении выходов модели и реальной системы при одинаковых (если возможно) значениях входов. И те, и другие данные (данные, полученные на выходе имитационной модели и данные, полученные в результате эксперимента с реальной системой) – статистические. Поэтому применяют методы статистической теории оценивания и проверки гипотез.

Используя соответствующий статистический критерий для двух выборок, мы можем проверить статистические гипотезы (Н_о) о том, что выборки выходов системы и модели являются выборками из различных совокупностей или (Н₁), что они “практически” принадлежат одной совокупности.

Могут быть рекомендованы два основных подхода к оценке адекватности:

• 1 способ: по средним значениям откликов модели и системы.

Проверяется гипотеза о близости средних значений каждый n -й компоненты откликов модели У_n известным средним значениям n -й компоненты откликов реальной системы У*n..

Проводят N₁ опытов на реальной системе и N₂ опытов на имитационной модели (обычно N₂ > N ₁).

Оценивают для реальной системы и имитационной модели математическое ожидание и дисперсию, Y'_n, D'_n и Y_n, D_n соответственно.

Гипотезы о средних значениях проверяются с помощью критерия t - Стьюдента, можно использовать параметрический критерий Манны-Уитни и др.

Например, продемонстрируем использование t -статистики. Основой проверки гипотез является E_n = (Y_n -Y'_n), оценка её дисперсии:

,

t -статистика:

.

Берут таблицу распределения t -статистики с числом степеней свободы: (обычно с уровнем значимости α=0,05). По таблицам находят критическое значение t_кр. Если t_n ≤ t_кр, гипотеза о близости средних значений n - й компоненты откликов модели и системы принимается. И т.д. по всем n - компонентам вектора откликов.

• 2 способ: по дисперсиям отклонений откликов модели от среднего значения откликов систем.

Сравнение дисперсии проводят с помощью критерия F (проверяют гипотезы о согласованности), с помощью критерия согласия (при больших выборках, n>100), критерия Колмогорова-Смирнова (при малых выборках, известны средняя и дисперсия совокупности), Кохрена и др.

Проверяется гипотеза о значимости различий оценок двух дисперсий:

D*_n и D_n.

Составляется F -статистика: F=D_n/D*_n, (задаются обычно уровнем значимости α=0,05, при степенях свободы по таблицам Фишера для F -распределения находят F_кр. Если F>F_кр' гипотеза о значимости различий двух оценок дисперсий принимается, значит – отсутствует адекватность реальной системы и имитационной модели по n -ой компоненте вектора отклика.

Процедура повторяется аналогичным образом по всем компонентам вектора отклика. Если хотя бы по одной компоненте адекватность отсутствует, то модель неадекватна. В последнем случае, если обнаружены незначительные отклонения в модели, может проводиться калибровка имитационной модели (вводятся поправочные, калибровочные коэффициенты в моделирующий алгоритм), с целью обеспечения адекватности.

Если не существует реальной системы, что характерно для задач проектирования, прогнозирования, то проверку адекватности выполнить в этом случае не удается, поскольку нет реального объекта. Для целей исследования модели иногда проводят специальные испытания (например, так поступают при военных исследованиях). Это позволяет убедиться в точности модели, полезности ее на практике, несмотря на сложность и дороговизну проводимых испытаний.

Могут использоваться и другие подходы к проведению валидации имитационной модели [4], кроме статистических сравнений между откликами реальной системы и модели. В отдельных случаях полезна валидация внешнего представления, когда проверяется насколько модель выглядит адекватной с точки зрения специалистов, которые с ней будут работать, так называемый тест Тьюринга (установление экспертами различий между поведением модели и реальной системы). В процессе валидации требуется постоянный контакт с заказчиком модели, дискуссии с экспертами по системе. Рекомендуется также проводить эмпирическое тестирование допущений модели, в ходе которого может осуществляться графическое представление данных, проверка гипотез о распределениях, анализ чувствительности и др. Важным инструментом валидации имитационной модели является графическое представление промежуточных результатов и выходных данных, а также анимация процесса моделирования. Наиболее эффективными являются такие представления данных, как гистограммы, временные графики отдельных переменных за весь период моделирования, графики взаимозависимости, круговые и линейчатые диаграммы. Методика применения статистических технологий зависит от доступности данных по реальной системе.

Поиск по сайту: