Обоснование и вычисление групповой экспертной оценки

В зависимости от целей экспертной оценки и выбранного метода измерения возможно решение различных задач обработки информации, получаемой в виде индивидуальных оценок от экспертов. Прежде всего, это задачи получения обобщенной оценки объектов на основе индивидуальных оценок экспертов при различных методах измерения.

В практике экспертного оценивания существует огромное количество общих и специальных методов, алгоритмов и процедур обработки экспертной информации. Подробно с ними можно ознакомиться, например, в работах [3-9, 14, 18-20]. Однако в общем случае методы, используемые при решении такого рода задач, возможно классифицировать в следующие группы [11]:

1. Статистические методы обработки результатов экспертного оценивания. Они основаны на предположении о случайности отклонения оценок экспертов от истинных значений оцениваемых параметров изучаемых объектов. Исходные данные к обработке рассматриваются как выборочная статистика, по которой возможно восстановить свойства присущие некой генеральной совокупности свойств. В этой постановке задача получения результирующих оценок ставится как задача восстановления истинного значения параметра на основе имеющихся оценок с наименьшей погрешностью.

2. Алгебраические методы обработки результатов экспертного оценивания. Суть этих методов заключается в задании формального правила исчисления расстояния на множестве оценок экспертов и определении такой результирующей оценки экспертизы, сумма расстояний от которой до оценок индивидуальных экспертов будет минимальна.

3. Методы шкалирования. При использовании этих методов по исходной экспертной информации о степени различия объектов сравнения неформально, путем отдельного логического анализа, определяется минимальный набор критериев и оценок объектов по ним, устанавливающих указанные экспертами различия.

4. Эвристические процедуры получения результирующих оценок. Данные методы строятся исходя из уже существующих, определяемых опытным путем правил, способов формирования групповой оценки. Они, как правило, представляют собой сочетание неформального структурированного анализа исходного материала с одним из методов, входящих в уже ранее указанные три группы.

На практике использование конкретного метода обработки экспертной информации фактически предопределено шкалой измерения объектов сравнения. Аналитик экспертизы может лишь осуществлять свой более или менее эффективный выбор инструментария обработки в рамках допустимых преобразований шкал с целью отыскания соответствующей адекватной результирующей статистики группового оценивания. Так для номинальной шкалы ей будет являться мода распределения оценок экспертов. В рамках порядковой шкалы эту роль выполняют либо мода, либо медиана распределения. Для интервальных шкал аналитик вправе выбирать любые, известные и приемлемые с его точки зрения, способы обоснования усреднения индивидуальных оценок.

Следует также заметить, что способ представления результирующих данных об экспертизе зависит также и от самого контекста решаемой задачи, ее цели и постановки, определяемых на исходных стадиях экспертизы.

Остановимся подробнее на рассмотрении возможности обоснования решений на основе экспертиз, проводимых в рамках шкал наименований и порядка, так как методы выработки групповых решений в рамках количественных измерений хорошо известны читателю из теории математической и прикладной статистики.

Напомним, что модой называется альтернатива, имеющая самую высокую частоту выбора экспертами. Таким образом, для оценок проводимых в рамках шкал классификаций или порядка, ей будет признан класс (индекс класса) к которому отнесено наибольшее число альтернатив или голосов экспертов, определяемый из условия , где

- результат отнесения j-м экспертом i-ой альтернативы сравнения к объектам k-го класса.

В том случае, когда результаты измерения представлены в форме интервального вариационного ряда, формула вычисления моды принимает следующий вид

, где

- нижняя граница модального интервала;

- частоты выбора альтернатив соответственно модального интервала, предшествующего модальному интервалу и последующего за ним.

Использование моды или так называемого «правила большинства», в качестве основы группового выбора при работе с порядковыми данными формально возможно, но далеко не всегда эффективно, а иногда ввиду самой постановки цели исследования и бессмысленно.

Приведем следующий пример 3. Пусть шесть экспертов оценивают по предпочтению три альтернативы, формулируя свои оценки в виде стандартизированных ранжировок и имея в виду, что ранг 1 соответствует наиболее предпочтительному варианту. Результат оценивания приведен в матрице , где k – индекс эксперта, j – индекс проекта.

= .

Какая из рассматриваемых альтернатив заслуживает наибольшего внимания у экспертов? – Формальный результат оценивания по большинству голосов показывает, что третья. Однако заметим, что такой же ответ может быть получен при ответе на вопрос о наименее желаемой альтернативе. Такого рода примеры иллюстрируют недостаточную пригодность моды как варианта коллективного выбора. Для преодоления такого рода ловушек исследователями предлагается целый ряд более совершенных подходов. Исторически одним из первых альтернативных подходов к обоснованию принципов множественного выбора является так называемый принцип множественных сравнений Кондорсе [11, 15].

Для пояснения выбора альтернативы Кондорсе введем следующие обозначения. Пусть R_j - ранжирование исходного множества альтернатив j-м экспертом, где .

Для каждой пара альтернатив a_k и a_l определяем число экспертов s_kl, предпочитающих k-ю альтернативу l-й. Если s_kl>s_lk, то k-ю альтернатива признается более предпочтительной, чем l-я. При этом альтернатива k признается лучшей (альтернатива Кондорсе), если .

Таким образом, для примера 3 верны следующие соотношения , а, следовательно, в качестве альтернативы Кондорсе может быть признана первая варианта. Однако альтернатива Кондорсе не всегда может быть указана. Это утверждение является следствием нетранзитивности коллективных предпочтений. В качестве иллюстрации этого утверждения можно привести следующие упорядочивания трех экспертов на множестве из трех альтернатив: R₁ = (1, 2, 3,), R₂ = (2, 3, 1), R₃ = (3, 1, 2). Отсюда очевидно, что , а, следовательно, альтернативы Кондорсе для такого множества упорядочений не существует.

Паллиативами в этой ситуации могут рассматриваться процедуры построения обобщающих ранжировок, например, с помощью метода сумм рангов (альтернатива Борда), метода среднего ранга, метода нормируемых рангов, метод медианы рангов. Они представляют собой эвристический подход к обоснованию группового обобщения.

Все упоминаемые методы работы с ранжировками, кроме метода нормируемых рангов, предполагают предварительную стандартизацию ранжировок и, как следует из названий, имеют в виду довольно прозрачный алгоритм расчета. Поэтому подробно остановимся на пояснении лишь процедуры расчета нормируемых рангов.

Процедура расчета нормируемых рангов предполагает построение итогового упорядочивания объектов сравнения в соответствии с вектором r, усредненной оценки объектов, учитывающим коэффициенты относительной значимости отдельных оценок объектов i для каждого эксперта j. Таким образом, сначала рассчитываются коэффициенты w: , а затем – усредненная всеми экспертами оценка для каждого объекта:

.

Перед тем, как привести примеры получения результирующих ранжировок указанными выше методами, напомним способ вычисления на различных представлениях упорядочивания такой характеристики, как медиана.

Медиана представляет собой срединное значение из общего числа исследуемых альтернатив.

Таким образом, для индивидуальных измерений, осуществленных в порядковой шкале и представленных в виде дискретного точечного ряда медианальное значение альтернативы соответствует , если m = (2p+1), т.е. ряд содержит нечетное число альтернатив; если число членов ряда четно, то .

При представлении результатов измерения альтернатив выбора в форме интервально представленного вариационного ряда, формула вычисления медианального значения примет следующий вид

, где

- нижняя граница значения признака медианального интервала;

- ширина интервала;

- частоты текущего i-го интервала и медианального;

- число интервалов вариационного ряда;

- ряда, предшествующего медианальному.

С помощью исходных данных, приведенных впримере 2, проиллюстрируем способы выстраивания результирующих ранжировок.

Как видно из таблицы 9, все четыре продемонстрированные способа обоснования группового решения дали один и тот же результат. Результирующая группировка совпадает с мнениями третьего и пятого экспертов, т.е. R = R₃ = R₅ = (5,4,1,3,2), а приоритетность рассматриваемых альтернатив выражается вектором предпочтительности альтернатив (П3,П5,П4,П2,П1). Заметим, что сходство результатов, полученных по первому, второму и четвертому алгоритмам не удивительно, т.к. в основе их всех лежит расчет сумм рангов:

, где i - индекс альтернативы, а j - индекс эксперта.

Но вот совпадение результатов ранжирования по третьему алгоритму в общем случае совершенно не обязательно со всеми остальными.

Примером алгебраического подхода к оцениванию группового выбора может быть назван обобщающий результат, определяемый как решение наилучшим образом согласованное с индивидуальными мнениями экспертов. Обычно в качестве такой наилучшей точки рассматривают медиану или

Таблица 9.

Примеры построения групповых ранжировок методами сумм рангов, среднего и медианы рангов, а также нормированного ранга.

среднее. В общем случае при решении задачи поиска наиболее согласованного с исходным множеством индивидуальных многомерных оценок X^m некого решения X перед исследователем стоит следующая задача: найти такую точку X L-мерного пространства факторов, чтобы минимизировать суммарное расстояние от искомой точки до всей совокупности предъявленных индивидуальных оценок на допустимом множестве D, т.е.

или , если (4).

В том случае если измерения экспертов лежат в пространстве объектов физической, числовой природы, т.е. оценочная работа осуществлялась в интервальной шкале представления, решение задачи не выходит из хорошо известного класса методов линейной оптимизации. В этом случае перед исследователем встает лишь проблема подбора адекватного способа измерений расстояний между сравниваемыми объектами, т.е. указания возможных мер близости [2].

К наиболее часто используемым метрикам относят следующие способы измерений расстояний.

Обычное евклидово расстояние:

Использование этого расстояния оправдано, если все компоненты вектора наблюдений Х (предположительно извлекаемых из генеральных совокупностей, подчиненных законам распределения близким к нормальному) однородны по своему физическому смыслу, причем установлено, например, с помощью опроса экспертов, что все они одинаково важны с точки зрения решения вопроса об отнесении объекта к тому или иному классу.

Часто на практике используют его модификации:

квадрат евклидова расстояния () и взвешенное евклидово расстояние ().

Последний подход рекомендуется в ситуациях, когда каким-либо способом возможно приписать каждой из компонент х^(l) вектора наблюдений Х некоторый неотрицательный вес w_l, пропорциональный степени его важности с точки зрения аналитика экспертизы. Удобно полагать при этом , l=1,L.

Расчет значений компонент вектора весовых коэффициентов, т.е. w_l влечет за собой дополнительные исследования, связанные, например, с получением и использованием обучающих выборок, организацией опроса экспертов, обработкой их мнений, возможным дополнительным изучением специальных моделей и т.п.

Расстояние city-block (манхеттенское расстояние): .

Используется как мера абсолютного различия объектов и равно числу несовпадений значений соответствующих признаков в рассматриваемых i-м и j-м объектах.

Класс метрик Минковского:

,

иногда записывают, как обобщенный вариант метрик Минковского: .

Ясно, что манхеттенское расстояние – частный случай класса метрических расстояний Минковского.

Как известно, на практике при обработке массивов информации исследователи не редко имеют дело с мультиколлинеарностью переменных. В случае обнаружения или наличия гипотезы о возможности присутствия зависимости компонент х(1), х(2),…х(р) вектора наблюдений Х рекомендуется использовать обобщенное (взвешенное) расстояние Махаланобиса, задаваемое следующей формулой.

Обобщенное расстояние Махаланобиса:

, где

S– ковариационная матрица генеральной совокупности, из которой извлекаются наблюдения;

L–– некоторая симметрическая неотрицательно-определенная матрица «весовых» коэффициентов, которая чаще всего выбирается диагональной структуры.

Расстояние Чебышева:

.

Это расстояние может оказаться полезным, когда желают определить два объекта как «различные», если они различаются по какой-либо одной координате (каким-либо одним измерением). Однако значительные трудности возникают, когда исследователям приходится иметь дело с представлением информации в шкалах менее совершенных, чем интервальная.

Развитием постановки (4) для обработки мнений экспертов, лежащих в некотором пространстве объектов нечисловой природы, имеющих порядковую шкалу представления, является нахождение групповой оценки Кемени.

Результирующей групповой ранжировкой будем называть обобщенную ранжировку, определяемую как точка, наилучшим образом согласованная с точками, представляющими собой индивидуальные ранжировки экспертов. Другими словами, результирующее ранжирование R должно быть расположено как можно ближе к индивидуальным, что эквивалентно выполнению следующего требования:

(5), где

R_j – ранжировка го эксперта;

R - результирующее ранжирование;

m – число экспертов, участвующих в экспертизе.

Ранжировку, полученную из данного условия, называют медианой Кемени [11, 15]. Она может принять модифицированный вид с учетом соответствующих коэффициентов компетентности (q _j) экспертов:

.

Среднее значение Кемени - это точка, сумма квадратов расстояний от которой до всех точек индивидуальных ранжировок минимальна:

Основной недостаток определения обобщенной ранжировки Кемени в виде медианы либо средней ранжировки связан со сложностью их практического вычисления, что, прежде всего, определяется свойствами пространства измерений, а также во многом зависит от размерности задачи. Как понятно из формулировки задачи (5) способ ее решения может заключаться либо в полном переборе точек исходного пространства ранжировок, что, безусловно, весьма трудоемко, либо в решении задачи целочисленного программирования. Последний подход становится более продуктивным при переходе от представления исходных стандартизированных ранжировок альтернатив к их адекватному преобразованию в виде матриц парных или бинарных сравнений. Таким образом, каждую ранжировку i (если меньший ранг присваивается наиболее предпочтительному объекту) можно представить в виде матрицы парных сравнений, оценки в которой определяются исходя, например, из следующих соображений:

, (6), где

i – индекс эксперта, ;

k, l – индексы альтернатив сравнения, .

Введем следующее определение. Расстоянием Кемени в рамках матриц парных сравнений i-го и j-го экспертов, описываемых матрицами Aⁱ и A^j соответственно, называют число

Таким образом, расстояние Кемени для матриц парных сравнений представляет собой не что иное, как число несовпадающих элементов в упорядочиваниях соответствующих экспертов, т.е. количество несогласий между экспертами. Следовательно, на конечном дискретном пространстве ранжировок, в котором каждая ранжировка R_j множества объектов есть точка (R_j = | |), вводится метрика d(R_i, R_j) - расстояние между i -й и j -й ранжировками:

(7).

Эта метрика единственна при выполнении ряда условий [11, 15], постулируемых как аксиомы группового выбора. А обобщенная ранжировка в рамках данной метрики определяется как точка, которая наилучшим образом согласуется с точками, представляющими собой ранжировки экспертов и определяемая из решения задачи (5).

Поясним процедуру поиска медианы Кемени с использованием исходных данных примера 2, учитывая ранее полученные на нем результаты.

Пусть на основе индивидуального исходного множества ранжировок экспертами альтернатив был осуществлен переход от шести стандартизированных ранжировок проектов к соответствующим матрицам парных сравнений шести экспертов, откуда, в соответствии с требованиями соотношения (7) может быть построена матрица попарных расстояний Кемени. Обозначим ее как матрицу D. Для нашего примера она имеет следующую структуру:

.

Матрица расстояний D может служить основой вычисления медианы Кемени, т.е. для поиска такой ранжировки R, которая бы смогла на исходном множестве индивидуальных упорядочиваний экспертов удовлетворить требованию (5). Приведем вычисления.

Результаты расчетов показывают, что минимум функции (5) достигается на третьей и пятой ранжировках, следовательно, медиана Кемени определяется как . Из приведенного примера, очевидно, что медиана Кемени это не обязательно элемент соответствующего пространства, а в общем случае его подмножество. Поэтому более корректной является утверждение .

Поиск по сайту: