Лекция 6. Критерии оценки систем

Одной из важных задач обеспечения информационной безопасности является способность оценить рассматриваемую систему (социотехническую систему) по каким-либо показателям, с целью выявления ее основных характеристик (параметров или же просто состояния). Для такого рода оценивания необходимо выработать своего рода критерии оценивания, которые позволяли бы давать определенного рода заключения.

Критерии оценки систем - правила или норма, позволяющие оценить эффективность системы, соответствие требуемого и достигаемого результатов, в том числе сопоставление требуемого уровня безопасности системы и достигнутого.

Если удается ввести количественные характеристики и связать аналитическим выражением цель системы и средства ее достижения, то такие выражения называют критерием эффективности, критерием функционирования, целевой функцией и т. п.

Такой подход, обычно реализуемый для технических систем, первоначально пытались применить и для оценки сложных систем с активными элементами типа социально-экономических систем, человеко-машинных комплексов. Однако получить требуемые аналитические зависимости для таких систем крайне сложно, а часто и практически невозможно. Поэтому целесообразно рассмотреть различные подходы к трактовке и классификации критериев оценки эффективности систем.

При оценке систем различают качество систем и эффективность реализуемых системами процессов (эффективность процесса обеспечения безопасности) Соответственно вводятся критерии качества, показатели и критерии эффективности.

Виды критериев качества. Для пояснения принципа классификации критериев качества введем ряд понятий.

Каждое i качество j -ой системы, i = 1,..,, п; j = 1,..., m, может быть описано с помощью некоторой выходной переменной y^j_i, отображающей определенное существенное свойство системы, значение которой характеризует меру (интенсивность) этого качества. Эту меру назовем показателем свойства или частным показателем качества системы. Показатель y^j_i может принимать значения из множества (области) допустимых значений { ^jдоп_i } Назовем обобщенным показателем качества j -ой системы вектор Y^j=< > компоненты которого суть показатели его отдельных свойств.

Размерность этого вектора определяется числом существенных свойств системы. Обратим внимание на то, что показатель качества именно вектор, а не простое множество частных показателей, поскольку между отдельными свойствами могут существовать связи, которые в рамках теории множеств описать весьма сложно.

Частные показатели имеют различную физическую природу и в соответствии с этим -различную размерность. Поэтому при образовании обобшенного показателя качества следует оперировать не с «натуральными» показателями, а с их нормированными значениями, обеспечивающими приведение показателей к одному масштабу, что необходимо для их сопоставления.

Задача нормировки решается, как правило, введением относительных безразмерных показателей, представляющих собой отношение «натурального» частного показателя к некоторой нормирующей величине, измеряемой в тех же единицах, что и сам показатель

где - некоторое «идеальное» значение i -го показателя.

Выбор нормирующего делителя для перевода частных показателей в безразмерную форму в значительной мере носит субъективный характер и должен обосновываться в каждом конкретном случае. Возможны несколько подходов к выбору нормирующего делителя.

· Можно принять, что нормирующий делитель = max .

· В качестве нормирующего делителя может быть выбрана разность между максимальными и минимальными допустимыми значениями частного показателя.

Требуемое качество системы задается правилами (условиями), которым должны удовлетворять показатели существенных свойств, а проверка их выполнения называется оцениванием качества системы. Таким образом, критерий качества - это показатель существенных свойств системы и правило его оценивания.

Назовем идеальной системой Y*гипотетическую модель исследуемой системы, идеально соответствующую всем критериям качества, Y^*=< > – вектор, являющийся показателем качества идеальной системы.

Назовем областью адекватности некоторую окрестность значений показателей существенных свойств. В общем виде область адекватности определяется как модуль нормированной разности между показателем качества У⁰⁰" и показателем качества у*'-

где - радиус области адекватности.

На радиус области адекватности накладываются ограничения, зависящие от семантики предметной области. Как правило, определение этой величины является результатом фундаментальных научных исследований или экспертной оценки.

При таком рассмотрении вое критерии в общем случае принадлежат к одному из трех классов.

1. Критерий пригодности правило, согласно которому j-я система считается пригодной, если значения всех i-х частных показателей этой системы принадлежат области адекватности , а радиус области адекватности соответствует допустимым значениям всех частных показателей.

2. Критерий оптимальности , правило, согласно которому j система считается оптимальной по i- му показателю качества, если существует хотя бы один частный показатель качества , значение которого принадлежит области адекватности , а радиус области адекватности по этому показателю оптимален. Оптимальность радиуса адекватности определяется из семантики предметной области, как правило, в виде , что подразумевает отсутствие отклонений показателей качества от идеальных значений;

3. Критерий превосходства правило, согласно которому j-я система считается превосходной, если все значения частных показателей качества принадлежат области адекватности , а радиус области адекватности оптимален по всем показателям.

Иллюстрация приведенных формулировок приведена на рис. 1, где по свойствам y₁ и у₂ сравниваются характеристики пяти систем {Y¹,Y²,Y³.Y⁴.Y⁵}, имеющие допустимые области адекватности значений { }, i =1,2. для которых определены оптимальные значения соответственно.

Рис. 1. Пример оценок систем по критериям пригодности,

от..цельности и превосходства

Из рисунка видно, что системы 1, 2, 3, 5 пригодны по свойствам у₁ и у₂ • Системы 1 и 3 оптимальны по свойству у₁.

Система 3 является превосходной, несмотря на то, что имеет место соотношение , поскольку 4-ая система вообще не пригодна и, следовательно, неконкурентоспособна по сравнению с остальными.

Легко заметить, что критерий превосходства является частным случаем критерия оптимальности, который в свою очередь является частным случаем критерия пригодности, поскольку область адекватности по критерию пригодности представляет собой декартово произведение множеств < >, по критерию оптимальности вырождается в двухточечное множество< >, по критерию превосходства вырождается в точку превосходства. Формально

Шкала уровней качества систем с управлением. При оценивании качества систем с управлением признают целесообразным введение нескольких уровней качества, проранжированных в порядке возрастания сложности рассматриваемых свойств.

Эмпирические уровни качества получили названия: устойчивость, помехоустойчивость, управляемость, способность, самоорганизация. Порядковая шкала уровней качества и дерево свойств систем с управлением приведены на рис. 2. Система, обладающая качеством данного порядка, имеет и все другие более простые качества, но не имеет качеств более высокого порядка.

Первичным качеством любой системы является ее устойчивость. Для простых систем устойчивость объединяет такие свойства, как прочность, стойкость к внешним воздействиям, сбалансированность, стабильность, гомеостазис (способность системы возвращаться в равновесное состояние при выводе из него внешними воздействиями). Для сложных систем характерны различные формы структурной устойчивости, такие как надежность, живучесть и т. д.

Более сложным, чем устойчивость, является помехоустойчивость, понимаемая как способность системы без искажений воспринимать и передавать информационные потоки. Помехоустойчивость объединяет ряд свойств, присущих в основном системам управления. К таким свойствам относятся надежность информационных систем и систем связи, их пропускная способность, возможность эффективного кодирования/декодирования информации, электромагнитная совместимость радиоэлектронных средств и т. д.

Следующим качеством системы является управляемость - способность системы переходить за конечное (заданное) время в требуемое состояние под влиянием управляющих воздействий. Управляемость обеспечивается прежде всего наличием прямой и обратной связей, объединяет такие свойства системы, как гибкость управления, оперативность, точность, быстродействие, инерционность, связность, наблюдаемость объекта управления и др. На этом уровне качества для сложных систем управляемость включает способность принятия решений по формированию управляющих воздействий. Следующим уровем на шкале качеств является уровень, называемый способностью. Это качество системы, определяющее ее возможности по достижению требуемого результата на основе имеющихся ресурсов за определенное время. Данное качество определяется такими свойствами, как результативность (производительность, мощность и т.п.), ресурсоемкость и оперативность. Именно это качество определяется как потенциальная эффективность функционирования системы - способность получить требуемый результат при идеальном способе использования ресурсов и в отсутствии воздействий внешней среды.

Наиболее сложным качеством системы является самоорганизация. Самоорганизующаяся система способна изменять свою структуру, параметры, алгоритмы функционирования, поведение для повышения эффективности. Принципиально важными свойствами этого уровня являются свобода выбора решений, адаптивность, самообучаемость, способность к распознаванию ситуаций и др.

Принцип свободы выбора решений предусматривает возможность изменения критериев на любом этапе принятия решений в соответствии со складывающейся обстановкой.

Введение уровней качества позволяет ограничить исследования одним из перечисленных уровней. Для простых систем часто ограничиваются исследованием устойчивости. Уровень качества выбирает исследователь в зависимости от сложности системы, целей исследования, наличия информации, условий применения системы.

Показатели и критерии оценки эффективности систем. Существенные свойства в соответствии с представлением системы как семантической модели можно условно классифицировать не только по уровню сложности, но и по принадлежности к системообразующим (общесистемным), структурным или функциональным группам. Наиболее типичные показатели существенных свойств систем приведены в Таблице 1.

Таблица 1. Типичные показатели существенных свойств систем

		Рис. 2. Шкала уровней качества и дерево свойств систем с управлением

При таком рассмотрении показатели качества можно отнести к области общесистемных и структурных свойств систем. Свойства же, которые характеризуют процесс функционирования (поведение) системы, можно назвать операционными свойствами или свойствами операции, поскольку искусственные системы создаются для выполнения конкретных операций или функций.

В общем случае оценка функциональных свойств системы проводится как оценка двух аспектов:

а) исхода (результатов) функционирования;

б) «алгоритма», обеспечивающего получение результатов.

Качество исхода и «алгоритм», обеспечивающий получение результатов, оцениваются по показателям качества.

Показатели качества вводятся с учетом конкретных особенностей системы и условий ее функционирования.

В области разработки оценок качества функционирования систем значительные результаты получены в теории исследования операций, в терминах которой искусственная система создается для выполнения операции. Эти результаты полезно использовать и в теории систем и системного анализа. Поэтому приведем краткий обзор показателей качества, разработанных в теории исследования операций.

К основным укрупненным показателям качества операции относят результативность, ресурсоемкость, оперативность.

Результативность Э характеризуется получаемым в результате целевым эффектом - результатом, ради которого функционирует система.

Ресурсоемкость R характеризуется ресурсами всех видов (людскими, материально-техническими, энергетическими, информационными, финансовыми и т.п.), используемыми для получения целевого эффекта.

Оперативность О характеризуется расходом времени, потребного для достижения цели.

Первый аспект - оценка исхода операции учитывает, что операция проводится для достижения определенной цели - исхода операции. Под исходом операции понимается ситуация (состояние системы и внешней среды), возникающая на момент ее завершения. Для количественной оценки исхода операции вводится понятие показателя исхода операции (ПИО), вектора ,компоненты которого суть показатели его отдельных свойств, отражающие результативность, ресурсоемкость и оперативность операции.

Второй аспект - оценка «алгоритма» функционирования - является ведущим при оценке эффективности. Такое утверждение основывается на теоретическом постулате, подтвержденном практикой: наличие хорошего «алгоритма» функционирования системы повышает уверенность в получении требуемых результатов. В принципе, требуемые результаты могут быть получены и без хорошего «алгоритма», но вероятность этого невелика. Это положение особенно важно для организационно-технических систем и систем", в которых результаты операции используются в режиме реального времени.

В совокупности результативность, ресурсоемкость и оперативность порождают комплексное свойство - эффективность процесса Y_эф - степень его приспособленности к достижению цели. Это свойство, присущее только операциям, проявляется при функционировании системы и зависит как от свойств самой системы, так и от внешней среды.

В литературе термин «эффективность» связывается и с системой, и с операцией, и с решением. Образуемые при этом понятия можно считать эквивалентными. В конечном счете каждое из них отражает соответствие исхода операции, выполняемой системой для достижения поставленной цели. Обычно нужно иметь в виду, что одна или несколько операций реализуются системой. Для большинства операций процедура оценки эффективности решений носит характер прогнозирования.

Выбор критерия эффективности - центральный, самый ответственный момент исследования системы.

Процесс выбора критерия эффективности, как и процесс определения цели, является в значительной мере субъективным, творческим, требующим в каждом отдельном случае индивидуального подхода. Наибольшей сложностью отличается выбор критерия эффективности решений в операциях, реализуемых иерархическими системами.

Конкретный физический смысл показателей определяется характером и целями операции, а также качеством реализующей ее системы и внешними воздействиями.

В отдельных системах в качестве показателей результативности могут рассматриваться показатели ресурсоем кости или оперативности, однако качество системы в целом определяется, подобно ПИО, их совокупностью

Хотя конкретные операции достаточно многообразны, существует ряд общих принципиальных положений, которыми необходимо руководствоваться при формировании системы критериев эффективности решений.

В зависимости от типа систем и внешних воздействий операции могут быть детерминированными, вероятностными или неопределенными. В соответствии с этим выделяют три группы показателей и критериев эффективности:

• показатели и критерии эффективности функционирования систем в условиях опреде
ленности, если ПИО отражают один строго определенный исход детерминированной операции;

• показатели и критерии эффективности функционирования систем в условиях
риска, если ПИО являются дискретными или непрерывными случайными величинами с
известными законами распределения в вероятностной операции;

• показатели и критерии эффективности функционирования систем в условиях не
определенности, если ПИО являются случайными величинами, законы распределения
которых неизвестны.

Критерий пригодности для оценки детерминированной операции имеет вид

Определяет правило, по которому операция считается эффективной, если все частные показатели исхода операции принадлежат области адекватности.

Критерий оптимальности для оценки детерминированной операции имеет вид

Определяет правило, по которому операция считается эффективной, если все частные показатели исхода операции принадлежат области адекватности, а радиус области адекватности по этим показателям оптимален.

Критерий пригодности для оценки эффективности вероятностной операции имеет вид

Определяет правило, по которому операция считается эффективной, если вероятность достижения цели по показателям эффективности ЯдАУтф) не меньше требуемой вероятности достижения цели по этим показателям Я_да^тр*(Уэф)-

Критерий оптимальности для оценки эффективности вероятностной операции имеет вид

Определяет правило, по которому операция считается эффективной, если вероятность достижения цели по показателям эффективности равна вероятности достижения цели с оптимальными значениями этих показателей

Основной проблемой оценки эффективности вероятностных операций является неясность способа определения требуемых вероятностей.

Это связано с отсутствием достаточной статистики. Известно, что применение методов классической теории вероятности допустимо при повторяемости опытов и одинаковости условий. Эти требования в сложных системах выполняются не всегда.

Наибольшие трудности возникают при оценке эффективности систем в условиях неопределенности. Для решения этой задачи разработано несколько подходов. Порядок оценки эффективности систем в неопределенных операциях составляет один из разделов теории принятия решений.

Выбор показателей для конкретной системы связан с анализом большого объема плохо структурированной информации и поэтому в системном анализе сформулированы требования, следование которым позволяет обосновать применимость показателей к оценке систем.

Общими требованиями к показателям исхода операции являются: соответствие показателя оценки цели операции, полнота, измеримость, ясность физического смысла (это требование не всегда реализуемо), неизбыточность; чувствительность.

Набор показателей оценки эффективности функционирования системы может быть определен различными способами. К настоящему времени еще не существует формальной теории, обеспечивающей объективное решение этой задачи. Выбор критериев оценки зависит от методов моделирования систем.

Поиск по сайту: