Комплексный подход к тестированию имитационной модели

После того, как имитационная модель реализована на ЭВМ, необходимо провести испытание, проверку модели. Это является чрезвычайно важным и ответственным моментом в имитационном моделировании. Проверка, выполненная не тщательно, может привести к неизвестным последствиям.

Поскольку моделирование связано с решением реальных задач, мы должны, прежде всего, быть уверены, что конечные результаты моделирования точно отражают истинное положение вещей, что модель не абсурдна, не дает нелепых ответов, оценить насколько модель и данные, полученные на ней, полезны и могут быть использованы при принятии решений, насколько точна разработанная модель. Считается, что имитационные модели обладают высокой степенью изоморфизма (изоморфизм – сходство модели с объектом), т.к. существует взаимно однозначное соответствие между элементами модели и реального объекта моделирования, а также сохраняется характер взаимодействия между элементами (вы знаете, что имитационная модель призвана отражать структуру и внутренние связи моделируемой системы). Считается, что область пригодности модели тем обширнее, чем ближе структура модели к структуре системы и чем выше уровень детализации. При построении любой модели используют упрощения, абстракции реальной системы, поэтому модель не является абсолютно точной в смысле однозначного соответствия её реальной системе. Кроме того, при описании системы, несмотря на наше стремление к объективности, действует субъективный фактор. Основной вопрос – насколько модель может быть в то же время точной.

Таким образом, на этапе исследования имитационной модели мы должны укрепить свое доверие к модели, убедиться, что модель функционально надежна, оценить ее достоверность. Исследователь должен провести серию проверок, и в процессе проверки модели достигнуть приемлемого уровня уверенности, что выводы, сделанные на основе моделирования, будут правильными и применимыми для реальной системы.

Это сложная, философская проблема. Моделирование является методом научного познания окружающей действительности. Исторически существует несколько направлений в науке об отношениях к методам научного познания: эмпиризм, рационализм, абсолютный прагматизм. На одном конце философского спектра находится эмпиризм, критерий которого – практика. Эмпирик считает, что должна быть проведена эмпирическая проверка любой испытуемой гипотезы (с помощью эксперимента, или на основе анализа эмпирических данных).

Рационализм основывается на применении методов формальной логики. Приверженцы рационализма считают, что модель есть совокупность правил логической дедукции (типа “если, то”), которые могут привести от предпосылок к объективным выводам. Получается, что согласиться с правильностью модели, значит согласиться с основными предпосылками и логикой построения такой модели. (А вдруг исходные предпосылки необоснованны, ошибочны? Что, если мы моделируем всего лишь собственные мысли, имеющие мало отношения к реальной действительности? Такие вопросы всегда задает себе начинающий системный аналитик).

Третий философский подход – философия абсолютного прагматизма, у которого основной критерий – полезность, утверждает, что, модель должна с определенной точностью позволять достигать некоторых целей и давать полезные результаты, поэтому прагматика не интересует внутренность модели – “черного ящика”, его интересуют лишь соотношения между входами и выходами модели. Модели.

В мировой практике имитационного моделирования к настоящему времени сформировались определённые концепции и сложились вполне устоявшиеся подходы к решению проблемы оценки достоверности имитационных моделей. Следует заметить, что оценка достоверности относится к числу “вечных” проблем имитационного моделирования. Такое положение обусловлено прежде всего спецификой применения имитационного моделирования как инструментария исследования, который в отличие от классических методов математического моделирования не обеспечивает проектировщиков и исследователей сложных систем соответствующими формализованными средствами определения (описания) таких систем. Однако нелишне заметить, что простота реализации некоторых процедур исследования в имитационном моделировании, например, анализа чувствительности, делают метод имитационного моделирования привлекательным и доступным. Исследованию различных аспектов проблемы оценки достоверности уделяли и уделяют много внимания известные учёные и специалисты в области имитационного моделирования Р.Шеннон [8], Н.П.Бусленко [1],,А.А.Емельянов [3], и др.

На практике выделяют 3 основные категории оценки:

• Оценка адекватности или валидация модели.

В общем случае валидации предполагает проверку соответствия между поведением имитационной модели и исследуемой реальной системы. Валидация модели (validation) есть подтверждение того, что модель в пределах рассматриваемой области приложений ведет себя с удовлетворительной точностью в соответствии с целями моделирования.

• Верификация модели.

Это проверка на соответствие поведения модели замыслу исследователя и моделирования. Т.е. процедуры верификации проводят, чтобы убедиться, что модель ведет себя так, как было задумано. Для этого реализуют формальные и неформальные исследования имитационной модели. Верификация имитационной модели предполагает доказательство возможности использования создаваемой программной модели в качестве машинного аналога концептуальной модели на основе обеспечения максимального сходства с последней. Цель процедуры верификации – определить уровень, на котором это сходство может быть успешно достигнуто.

Валидация и верификация имитационной модели связаны с обоснованием внутренней структуры модели, в ходе этих процедур проводятся испытания внутренней структуры и принятых гипотез, исследуется внутренняя состоятельность модели.

Валидация данных.

Валидация данных (data validity) направлена на доказательство того, что все используемые в модели данные, в том числе входные, обладают удовлетворительной точностью и не противоречат исследуемой системе, а значения параметров точно определены и корректно используются. Эти проверки связаны с проблемным анализом, т.е. анализом и интерпретацией полученных в результате эксперимента данных. Проблемный анализ – это формулировка статистически значимых выводов на основе данных, полученных в результате эксперимента на имитационной модели. Проверяется правильность интерпретации полученных с помощью модели данных, оценивается насколько могут быть справедливы статистические выводы, полученные в результате имитационного эксперимента. С этой целью проводят и сследование свойств имитационной модели: оценивается точность, устойчивость, чувствительность результатов моделирования. Эти проверки связаны с выходами модели, сама имитационная модель рассматривается как черный ящик.

Таким образом, на этапе испытания и исследования разработанной имитационной модели организуется комплексное тестирование модели (testing) – планируемый итеративный процесс, направленный главным образом на поддержку процедур верификации и валидации имитационных моделей и данных.

Поиск по сайту: