В порядковой шкале оценок

Допустим, что исходный материал оценивания – ранжировки, которые строят эксперты, либо представление экспертной информации, сводимое к ранжированию. Эксперт ранжирует факторы по важности, самый важный имеет ранг равный 1.

Результат оценивания степени важности факторов экспертами может быть представлен следующей таблицей:

Таблица 11

Здесь n – число экспертов, m – количество факторов, z_ji – ранг, присвоенный j–экспертом i -му признаку (фактору).

Ранг – это место (положительное рациональное или натуральное число соответственно в широкой и узкой постановке) объекта в упорядоченном списке.

Будем считать, что результаты индивидуального экспертного оценивания уже подверглись первичной проверке на качественность их представления, т.е. в дальнейшем предполагается, по крайней мере, представление ранжировок в стандартизированном виде.

Проверка согласованности мнений экспертов, проводящих оценивание в порядковой шкале, в зависимости от целей исследования осуществляют с помощью парных либо множественных показателей меры согласованности групповых решений. Рассмотрим далее возможные варианты.

Проверка согласованности мнений пар экспертов

Наиболее известными в практике установления факта наличия или отсутствия связи между результатами ранжирования объектов двумя экспертами являются коэффициенты парной ранговой корреляции Спирмэна и Кендалла [1, 9, 10, 17-19].

Если имеются стандартизированные ранжировки j -го и k -го экспертов, то мера согласованности ранжировок, определяемая на основе коэффициента ранговой корреляции Спирмэна, имеет следующий вид:

(21)

где - взаимный корреляционный момент j-ой и k-ой ранжировок;

- дисперсии этих ранжировок. Причем

;

где - число ранжируемых объектов;

средние ранги в первой и второй ранжировках, т.е.

Из формулы (21) очевидно, что

- при полном совпадении мнений экспертов, т.е. , где , имеем ;

- при полностью противоположных мнениях, т.е. когда , имеем: . Путём несложных преобразований последнего выражения и с учетом того, что , легко видеть, что: .

- во всех остальных случаях: .

Рассмотрим следующий пример. Пример 4.

Пусть два эксперта оценили важность четырёх факторов следующим образом: R₁ = (1; 2.5; 2.5; 4) и R₂ = (4; 2.5; 2.5; 1).

Определить степень согласия между этими ранжировками с помощью коэффициента Спирмэна.

Прежде, чем определить меру согласованности экспертов с помощью формулы (21) заметим, что обе ранжировки являются стандартизированными и имеют группы связных рангов и, кроме того, мы заведомо можем предположить ввиду очевидности, что расчетное значение коэффициента ранговой корреляции должно быть равно минус единицы. Однако, если воспользоваться формулой (21), то степень согласия первого и второго эксперта составит , т.е. результат оказался заниженным относительно нашего ожидания. Для избежания этого в случае наличия в ранжировках экспертов групп связных рангов следует использовать модифицированную форму коэффициента ранговой корреляции Спирмэна. Она имеет следующий вид:

(22).

Расчёт поправочного коэффициента для каждого j-го эксперта производится следующим образом:

, где

- количество групп связных рангов у j -го эксперта;

- количество факторов, входящих в t -ю группу связных рангов.

Так в рассматриваемом примере имеем следующую ситуацию.

У каждого из экспертов имеется по одной группе связных рангов, т.е. . В каждую группу связных рангов входит по два фактора, т.е. . Таким образом, в силу симметричности данных поправочные коэффициенты, используемые в формуле (22), примут значения: . Окончательно значение модифицированного коэффициента ранговой корреляции Спирмена составит: . Таким образом, данные ранжировки отражают абсолютно противоположные мнения двух экспертов, что и следовало предположить.

В основе расчета коэффициент ранговой корреляции Кендалла лежит информация о степени рассогласованности мнений экспертов. Для вычисления данного коэффициента определяется число инверсий - количество пар элементов ранжировок l -го и k -го экспертов, расположенных в неодинаковом порядке. Коэффициент рассчитывается следующим образом:

, (23)

где - число инверсий между ранжировками j -го и k -го экспертов.

Приведем пример 5, демонстрирующий процедуру вычисления этого коэффициента.

Пусть представлены следующие две ранжировки четырёх альтернатив: . Определим для них значение коэффициент ранговой корреляции Кендалла.

Для начала построим матрицу предпочтений для каждого эксперта, т.е. , где - результат сравнений i -го и j -го факторов l -м экспертом, определяемый следующим условиями:

.

Таким образом, имеем следующие матрицы предпочтений для каждого из экспертов

, .

Тогда соответствующая матрица инверсий принимает следующий вид:

,

где - отражает совпадение (0) или несовпадение (1) мнений l -го и k -го экспертов по поводу предпочтительности i -ой и j -ой альтернативы сравнения.

Таким образом, для рассматриваемого примера число инверсий составит , следовательно, в нашем случае значение коэффициента ранговой корреляции Кендалла составит , т.е. мнения двух экспертов абсолютно не согласованны друг с другом.

Следовательно, мнения экспертов независимы друг от друга (полная несогласованность мнений).

Не трудно показать, что данный коэффициент, также лежит в диапазоне от -1 до 1.

Так же как и в предыдущем случае при наличии в рассматриваемых группировках групп связных рангов коэффициент Кендалла нуждается в модификации, учитывающий этот факт.

Модифицированная форма коэффициента ранговой корреляции Кендалла имеет следующий вид:

(24),

где - поправочный коэффициент, вычисляемый по формуле , остальные обозначения совпадают с ранее введенными для расчета коэффициента Спирмэна.

Определим значение модифицированного коэффициента ранговой корреляции Кендела для ранее рассмотренного примера 4.

Для данного примера число инверсий составит , а следовательно, используя формулу (23) можем определить значение коэффициента согласованности . Значения поправочных коэффициентов составят . Тогда окончательно из формулы (24) имеем: . Как и ожидалось, полученный результат подтверждает ранее сделанные выводы о противоположности мнений экспертов относительно ранжировки альтернатив выбора.

До сих пор речь шла о выборочных характеристиках ранговой связи. Возникает вопрос: как точно выборочные характеристики оценивают соответствие истинным теоретическим значениям выборок? Это вопрос о возможности корректной проверки значимости соответствующего коэффициента ранговой корреляции.

Данная проблема решается путем расширения на рассматриваемые объекты исследования возможностей оценки значимости коэффициентов парной корреляции представленных в общем случае в количественных шкалах измерений. Обоснованность этого следует из доказательства соответствия рассмотренных коэффициентов согласия парному коэффициенту корреляции. Для этого вводится соответствующая каждому из видов ранговых коэффициентов метрика.

Помним, что коэффициент корреляции j -го и k -го наблюдения рассчитывается так:

, (25)

Напомним, что наши наблюдения (т.е. ранжировки экспертов) представлены числами, суть которых есть ранг. В соответствии с последним замечанием допустимо произвести следующую подстановку, пусть ,

где m – число оцениваемых альтернатив.

Тогда в новых обозначениях выражение (26) примет следующий вид: .

Далее следует провести ряд соответствующих преобразований, т.е.

.

Таким образом, к оценке значимости коэффициента ранговой корреляции Спирмэна можно применять все статистические характеристики оценки значимости корреляции. Например, с помощью t -статистики Стьюдента можно проверить нулевую гипотезу H₀ о равенстве 0 коэффициента парной корреляции, т.е. установить, что мнения экспертов статистически не зависимы, т.е. согласованность между экспертами не обнаруживается.

Расчетное значение критерия Стьюдента находится, как , оно сравнивается с табличным значением - , если , то отвергается, и с вероятностью не меньшей, чем (1- )100%, можно говорить о неслучайном совпадении мнений экспертов по интересующей проблеме.

Следует иметь в виду, что такой способ проверки нулевой гипотезы справедлив только при размерности пространства признаков не менее 10, для меньшего числа свойств существуют специальные таблицы [1, с.450-451].

Покажем, что парный коэффициент корреляции является эквивалентом коэффициента ранговой корреляции Кендалла при переходе в соответствующую метрику. Для начала будем считать, что мы имеем дело со строгими стандартизированными ранжировками.

В соотношение (25) вместо подставим соответствующую исходную информационную единицу . Следует учесть, что среднее значение элементов рассматриваемой матрицы A^l равно 0. Тогда в новых обозначениях имеем следующую запись формулы коэффициента корреляции (25):

.

Нетрудно убедиться в том, что:

,

.

Таким образом, получили следующее соответствие = .

Таким образом, для определения значимости коэффициента ранговой корреляции Кендалла можно воспользоваться u-статистикой (нормализованное нормальное распределение вида M[ x ]=0; D[ x ]=0). Ее расчетное значение можно определить, как:

.

Для вычисленного значения U -статистики можно проверить нулевую гипотезу, используя табличное значение : если , то отвергается, если , то принимается.

Проведенные исследования вопроса соответствия результатов оценивания одинаковых исходных данных с помощью различных ранговых коэффициентов парной корреляции позволяют сделать заключение о том, что при m>10 наблюдается следующее приближенное соответствие коэффициентов Спирмэна и Кендалла [1, с.113].

Поиск по сайту: