Экспертной оценки

Понятие качества прогноза на основе метода проведения экспертизы является весьма многогранным и может рассматриваться с точки зрения различных критериев эффективности. С одной стороны, оно должно отвечать всем тем требованиям, которые предъявляются к допустимым результатам прогнозирования вне зависимости от специфики метода, лежащего в основе обоснования разработки прогноза, а с другой, обуславливается именно спецификой этого инструментария.

Прогноз, основанный на методах обработки экспертной информации, как и любой другой прогноз, должен подвергаться критической оценке аналитиков с точки зрения его полезности, достоверности, надежности, информативности, а также величины издержек, в том числе и временных, на его реализацию. Попытаемся ответить на вопрос о способах практического оценивания тех или иных составляющих понятия «качество экспертного прогноза». Понятно, что специфика последнего будет проявлять себя, прежде всего, вследствие особенностей самого метода. Следовательно, содержание и способы оценивания таких характеристик качества как полезность, достоверность и издержки на составление прогноза не претерпевают сколько-нибудь существенного изменения по сравнению с их традиционной интерпретацией. А вот понимание таких составляющих качества предсказания как надежность и информативность прогноза, следует конкретизировать, так как именно на этих параметрах существенно сказывается специфика выбранного инструментария составления прогноза.

Как уже отмечалось ранее под информативностью прогноза, прежде всего, понимается полнота информации, характеризующая будущее состояние объекта. Информативность предсказания на основе экспертных методов напрямую зависит от выбранной субъектами экспертизы шкалы измерений изучаемого объекта. Чем уже множество допустимых преобразований, тем более совершенной в этом смысле считается шкала. Причем сущность этой характеристики выражается не столько в степени формальной детализации представления описания предсказания, сколько в определении прогностической ценности полученных в результате поиска вариантов развития. Таким образом, наиболее информационно совершенной шкалой из трех ранее рассмотренных является шкала интервалов, она допускает самый широкий спектр алгебраических преобразований полученных результатов. Последнее свойство весьма ценно для исследователей, но лишь при прочих равных значениях характеристик качества прогноза.

В наибольшей степени особенности экспертного прогнозирования сказываются на таком показателе качества предсказания как его надежность, имея в виду, прежде всего априорную степень уверенности с которой ожидается сделанное предсказание. На это может существенно влиять целый ряд обстоятельств, определяющих качество «генератора» экспертной информации, важнейшие из которых: качественный и количественный состав экспертной группы, обоснованность и адекватность технологий извлечения информации, обоснованность и надежность информации обеспечивающей работу экспертов, а также целый ряд менее существенных причин. Интегральными измерителями априорной надежности экспертных прогнозов являются характеристики их групповой устойчивости и согласованности.

Под устойчивостью групповой экспертной оценки будем понимать независимость результирующей групповой оценки от состава членов экспертной группы, т.е. результирующая оценка устойчива, если качественное и/или количественное изменение состава привлекаемых к экспертизе специалистов не влияет на ее окончательный результат.

Формально для оценивания характеристики степени устойчивости групповой оценки можно предложить использовать вероятностный показатель, показывающий, например, вероятность неизменности итогового результата от величины группы экспертов. Интегральным выражением этого свойства может служить функция распределения вероятности неизменности оценки от величины изменения количества экспертов в группе. При этом окончательное решение должно приниматься, исходя из сравнения фактического значения функции распределения с допустимым пороговым значением вероятности изменений , полученным, например, эмпирически. Величину пороговой вероятности рекомендуется задавать в пределах 0,6-0.95 [7]. Т.е. устойчивость по группе из n человек будет считаться приемлемой при возможном исключении (включении) из группы экспертов не более чем n’ человек, если выполняется следующее неравенство

Для иллюстрации возможностей данного подхода приведем следующий пример.

Пусть шесть экспертов участвуют в определении наиболее предпочтительного варианта действий в будущем, осуществляя единственный выбор из трех возможных альтернатив. Результаты оценивания представлены в виде итоговой матрицы , где

- оценка k -ой альтернативы i -м экспертом (0 – вариант отвергается, 1 – вариант принимается, как наиболее предпочтительный);

- индекс эксперта ();

- индекс оцениваемой альтернативы ().

.

Используя моду как итоговую групповую оценку, имеем следующий результат: , т.е. в качестве результата проведения экспертизы выбирается третья альтернатива.

Оценим вероятность сохранения полученной групповой оценки при возможности исключения из группы до двух человек экспертов, таким образом .

Обозначим как - число экспертов, отдавших предпочтение k -ой альтернативе выбора.

Тогда, исходя из структуры матрицы X, можно определить вектор в качестве вектора суммарных оценок альтернатив, - максимально возможное число исключений экспертов ().

Таким образом, значение результирующего вектора оценок будет зависеть от того, сколько и из какой группы было исключено экспертов. Представим варианты возможных исключений из исходной экспертной группы в виде следующей таблицы 10.

Таблица 10.

Вариант	Число исключенных из группы экспертов	Структура вектора h	Индекс альтернативы модального класса
							2-3

Из проиллюстрированных в таблице 10 вычислений, очевидно, что к бесспорному изменению результата приводит только пятый вариант изменений в группе экспертов.

Минимально гарантированное количество случаев сохранения исходной групповой оценки альтернатив, связанное с вариантами первым, третьим и четвертым, равно:

.

Учитывая равновероятность выбора в рамках второго варианта, окончательная минимальная оценка числа случаев гарантированного сохранения результата выбора может оцениваться в 13 случаев.

Тогда вероятность сохранения групповой оценки при удалении двоих экспертов из исходной группы шести экспертов составит:

.

Аналогично можно вычислить минимальную вероятность сохранения результирующей групповой оценки при произвольном исключении из группы лишь одного эксперта, она составит:

.

Тогда вероятность сохранения результирующей групповой оценки при исключении из группы не менее двух экспертов составит:

.

Данный подход, несмотря на существенные вычислительные проблемы, возникающие непосредственно при определении функции распределения вероятности оценок мог бы быть приемлем, однако он не может признаваться универсальным ввиду того, что по умолчанию подразумевается наличие свойства статистической однородности множества экспертов, что в целом ряде ситуаций не верно. Для решения второго типа задач экспертного оценивания данный метод требует дополнительной модификации, учитывающей коэффициенты индивидуальной компетентности экспертов, что приводит к значительному усложнению вычисления значений функции распределения. В этой связи более продуктивно оценивание устойчивости групповых оценок экспертизы, использующее результаты оценки согласованности мнений экспертов. Рекомендации по применению этих эвристических процедур рассматриваются далее.

Наиболее существенными характеристиками качества проведения прогнозной экспертизы, показателями априорной степени ее надежности являются показатели согласованности экспертного оценивания.

Характеристика согласованности экспертных оценок оценивает степень качественного совпадения мнений экспертов. Проявление этого свойства именно на качественном уровне можно проиллюстрировать с помощью следующего примера.

Пусть трем группам экспертов А, В и С, включающим по три специалиста каждая, предложено оценить два направления развития некоторого объекта прогноза, имея в виду определение наиболее реалистичного хода событий. Результат индивидуальной оценки, в зависимости от условий выбора шкалы оценивания для каждой из групп, мог бы принять следующие формы.

А). Непосредственная оценка трех альтернатив развития событий экспертами, выраженная в баллах интервальной шкалы в масштабе от 0 до 1, (могли бы интерпретироваться как оценки вероятности наступления той или иной альтернативы).

В). Решения экспертов в форме ранжировки альтернатив по степени вероятности их наступления.

С). Решения экспертов по отнесению альтернатив к группам ожидаемых (+) и менее ожидаемых (-) событий.

Очевидно, все эксперты предпочли альтернативу 1 альтернативе 2, а сопоставление трех вариантов оценивания позволяет говорить именно о качественном характере совпадений (в данном случае абсолютном) мнений всех трех групп экспертов, несмотря на существенные различия в форме представления результатов экспертизы.

Рассмотрим проблему количественного измерения степени согласия специалистов по проблеме. Конкретный выбор метода оценки согласованности мнений экспертов в наибольшей степени зависит от способа представления информации об объекте исследования: типов шкал и методов измерений (ранжировок, непосредственных оценок, парных сравнений, последовательных сравнений и т.д.).

Принято выделять несколько групп характеристик согласованности мнений экспертов:

коэффициенты согласия (конкордации);

меры расстояния;

коэффициенты ассоциативности;

вероятностные коэффициенты сходства (энтропийный коэффициент согласия).

В практике проведения прогнозных исследований в области социально-экономического прогноза наибольшее применение нашли меры расстояния и коэффициенты согласия. Одна из групп, меры расстояний, нами уже частично упоминалась, далее рассмотрим подробнее способы оценивания согласованности экспертных оценок на основе расчета коэффициентов согласия.

В основу вычислений любой из модификаций коэффициентов согласованности группы экспертов положена идея коэффициента множественной корреляции (W). Конкретный вид коэффициента зависит от характера решаемой задачи. Ясно, что в случае проведения экспертами оценивания в шкалах не менее совершенных, чем шкала интервалов, для оценки степени согласия можно использовать непосредственно коэффициенты парной либо множественной корреляции в зависимости от условий задачи. При этом следует помнить, что его непосредственное предназначение - определение степени линейной зависимости между переменными.

Не ставя перед собой задачи полностью раскрыть весь спектр модификаций разнообразных коэффициентов согласованности мнений групп экспертов, остановимся на наиболее на наш взгляд востребованных в рамках номинальной и порядковой шкал измерений признаков. Дополнительные сведения по этим вопросам можно почерпнуть из источников [1-7, 10-13, 17-20, 23, 25].

Поиск по сайту: