Проверка согласованности мнений группы экспертов

Для оценки согласованности мнений групп экспертов численностью большей, чем два человека могут использоваться дисперсионный и энтропийный коэффициенты конкордации, коэффициент вариации и т.п. [1, 3, 4, 6, 10].

Дисперсионный коэффициент конкордации (или множественный коэффициент конкордации Кендалла) или W(n), где n – число ранжировок, определяется как отношение несмещенной оценки фактической дисперсии D, полученной на исходных ранжировках к теоретически максимальному значению оценки их дисперсии на заданном множестве экспертов n - D_max, иначе говоря:

(26).

Оценим возможность практического использования данного коэффициента в ходе оценки качества проведенных прогнозных исследований.

Пусть информация об оценивании m факторов n экспертами представлена в виде таблицы 7, приведенной выше, в которой z_ji – ранг, присвоенный j–экспертом i -му объекту (альтернативе).

Очевидно, и ранее это было показано, что на предварительном этапе обработки экспертной информации, представленной в порядковой шкале измерений, самой естественной характеристикой оценки соответствующей альтернативы, является набранная ей сумма рангов. Очевидно, чем более случайным образом распределились мнения экспертов относительно объектов оценки, тем меньше расхождение сумм рангов альтернатив, т.е. тем меньше их дисперсия. Верно и обратное. При абсолютной согласованности специалистов, межальтернативная разница сумм рангов максимальна. Соответственно коэффициент множественной конкордации (26) может быть интерпретирован как степень соответствия результатов оценивания их максимально согласованному варианту оценки. Таким образом, значения множественного коэффициента конкордации Кендалла лежат в диапазоне от 0 до 1, т.е При ранжировки полностью рассогласованы, при достигнуто полное согласие в ходе оценки объектов. Раскроем полнее содержание этого показателя.

Введём следующие обозначения: - сумма рангов по i -му фактору оценки, - суммарные ранги, полученные каждой альтернативой. Суммы рангов по каждому столбцу в матрице исходных наблюдений предлагается рассматривать как реализации некоторой случайной величины и вычислить ее математическое ожидание и дисперсию.

Разброс мнений по проведенной экспертизе можно измерить через дисперсию рангов. Заметим, что при этом оценка математического ожидания составит:

- средний ранг по совокупности мнений экспертов. Далее можно определить фактическую несмещенную оценку дисперсии рангов как:

.

Максимальное значение оценки дисперсии случайной величины надлежит вычислить отдельно как при отсутствии связанных рангов, так и тогда, когда они имеются.

Таким образом, максимальное значение дисперсии рангов на множестве альтернатив в случае отсутствия связных рангов получим следующим образом:

.

Следовательно, в окончательном виде дисперсионный коэффициент конкордации Кендалла можно представить так:

(27).

Не трудно показать, что при наличии связных рангов в группировках, максимальное значение оценки дисперсии откорректируется следующим образом:

, где поправочный коэффициент - показатель связных рангов в j-й ранжировке рассчитывается как

(28), где

- число групп связных рангов в j-й ранжировке;

- число связных рангов в t-ой группе связных рангов при ранжировке j-м экспертом.

Таким образом, модификация дисперсионного коэффициент конкордации Кендалла в случае наличия групп связных рангов имеет следующий вид:

(29).

Если совпадающих рангов нет, то = 0, = 0 и формула (29), учитывающая влияние на коэффициент конкордации эффекта связных рангов, превращается в формулу (27) для случая их отсутствия.

Поскольку коэффициент конкордации также по сути своей является случайной величиной, которая служит оценкой истинного значения (n), то кроме подсчета его значения необходимо определить значимость этой оценки [1].

При числе объектов сравнения оценку значимости коэффициента конкордации рекомендуется осуществлять по критерию Пирсона. Расчетное значение критерия можно определить следующим образом :

(30).

Величина имеет распределение Пирсона с (m-1) степенями свободы.

Значимость коэффициента конкордации можно также оценивать и с помощью распределения случайной величины приближенно моделируемой Z-распределением Фишера. При этом число степеней свободы числителя статистики определяется как , а число степеней свободы знаменателя как . Следует также заметить, что строго обоснованных правил построения доверительных интервалов для коэффициентов ранговой корреляции в настоящее время нет.

Поясним на примере возможности представленного выше математического аппарата оценки согласия групп экспертов. Оценим априорное качество экспертного прогноза на основе определения степени согласованности специалистов в соответствии с множественным коэффициентом конкордации, используя исходные данные примера 2.

Анализируя данные, представленные ранее в таблице 5, можно сделать вывод о наличии групп связных рангов у 1, 4 и 6 экспертов. В соответствии с формулой (28) определяем значения поправочных коэффициентов соответствующих ранжировок, их значения следующие: T₁ = 0.5, Т₄ = 1, Т₆ = 0.5. Воспользовавшись формулой (29), не трудно рассчитать значение модифицированного дисперсионного коэффициента конкордации, оно составит W(6) = 0.88. На первый взгляд уровень согласованности мнений экспертов достаточно высок. Попытаемся подтвердить эту гипотезу статистической проверкой значимости.

Оценим значимость полученного коэффициента. Табличное значение коэффициента при 5%-м уровне коэффициента значимости составит 9.488. Расчетное значение статистики составляет 21.125, в соответствии с формулой (30). Таким образом, у нас нет оснований принимать гипотезу о значимости нулю коэффициента конкордации, а следовательно согласованность мнений присутствует, она достаточно высокая и не случайная.

В качестве альтернативного подхода к оцениванию степени согласованности группового мнения экспертов может быть предложен энтропийный коэффициент согласия. Он строится исходя из понятия общей меры неопределенности поведения характеристик объекта исследования – энтропии. Этот подход особо эффективен при оценивании особо сложных объектов сравнения, состояния которых могут описываться лишь вероятностными методами, существенно также то, что допустимо представление данных в качественных шкалах.

В общем виде, энтропийный коэффициент согласия определяется так:

где

- фактический уровень энтропии в рамках рассматриваемых данных;

- максимальное значение энтропии.

Фактический уровень энтропии согласно определению [6, 10] составляет , при этом

где - оценка вероятности присвоения j-го ранга i-му объекту;

- количество экспертов, приписавших i-му объекту j-й ранг;

- общее число экспертов.

Расчет максимального значения энтропии в системе производится, исходя из предположения о равновероятном распределении мнений экспертов относительно альтернатив оценки. В таком случае , а , следовательно:

В силу своих свойств энтропийный коэффициент согласия может принимать значения на отрезке от 0 до 1. При ранжировки экспертов полностью рассогласованы, а при достигнуто полное согласие в ходе оценки объектов исследования. Особенность, а иногда преимущество энтропийного коэффициента согласия состоит в том, что он может применяться и в случаях оценки согласованности экспертов, работающих с информацией, представленной в номинальной шкале.

В практике проведения исследований по установлению уровня качественности сделанных предсказаний могут также использоваться и менее универсальные измерители связи мнений экспертов, к ним в частности относят коэффициенты вариации и ассоциации, которые имеют разнообразные формы представления. Приведем примеры.

Коэффициент вариации позволяет установить степень согласованности экспертов в отношении каждого объекта i. Коэффициент вариации используется в случае, когда - целые числа (баллы) [2, 23]:

где i - индекс объекта;

k - число градаций (баллов, классов и т.п.) в принятой шкале измерений;

- число экспертов, отнесших i-й объект к j-й градации.

Значения коэффициента заключены в границах от 0 до 1. Степень согласованности экспертов в отношении i-й альтернативы оценивания определяется величиной . При - констатируется полное совпадение мнений экспертов.

Коэффициент ассоциации – измеритель сходства оценок пар экспертов, он показывает вес одинаково оцененных альтернатив относительно общей меры величины сделанных оценок[5, 25]:

, где

- количество признаков, одинаково оцененных i-м и j-м специалистами;

- количество признаков, оцененных i-м специалистом;

- количество признаков, оцененных j-м специалистом.

Интерпретация диапазона значений данного коэффициента полностью идентична с ранее рассмотренными измерителями согласия пар экспертов. В заключение следует отметить, что отыскание значений показателей множественной согласованности групп экспертов несет не только узко специальное назначение – определение качества проведенной экспертизы. Существует по-крайней мере два важнейших дополнительных прикладных аспекта значительно увеличивающих прагматическую значимость полученных результатов. Первое - степень согласованности экспертной информации делает допустимым или нет возможность обоснования и выработки обобщенного группового экспертного решения. Второе – полученные результаты часто являются основанием к дополнительным организационным преобразованиям в рамках проводимой экспертизы.

В общем случае весь перечень задач, решаемых при оценке надёжности групповой экспертизы, можно свести к следующим типовым постановкам:

- предварительная обработка экспертной информации, группировка и агрегирование отдельных признаков, факторов, по которым производится оценка;

- оценка степени согласованности мнений экспертов как по отдельному фактору (признаку), так и по набору в целом;

- выявление групп экспертов со сходными оценками – «ядер»;

- в случае большой степени расхождения в оценках – определение причины расхождений: неточности в постановке задачи; неточности исходной информации; некомпетентность экспертов и т.п.;

- дополнительное уточнение качественного и количественного состава экспертной группы.

Последняя из названных проблем часто становится одной из самых актуальных для исследователя-аналитика. Как правило, для ее решения можно рекомендовать два достаточно радикальных способа решения: первый подход можно охарактеризовать как метод последовательного расформирования исходной совокупности [2], второй напротив – как метод рациональной консолидации [7].

В каждом случае при обработке мнений экспертов перед аналитиком дополнительно встают следующие задачи:

1) анализ структуры совокупности ранжировок экспертов.

2) уточнение качественного и количественного состава экспертной группы.

При исследовании совокупности ранжировок экспертов на предмет их переформирования, а в частности, сужения, следует обратить внимание на следующие моменты.

- Исходное состояние: согласованность ранжировок низкая либо просто отсутствует, т.е. .

- Предполагается существование некоторого подмножество M множества n, для которого . Такое множество экспертов носит название «ядро». Отличительной его особенностью является тот факт, что мнение внутри этой части исходной группы экспертов согласовано. Т.е. оно обладает внешней и внутренней устойчивостью в теоретико-кооперативном смысле. «Ядро» в дальнейшем используют как рабочую экспертную группу.

- При числе ядер более одного оценку группового решения и его качества (соответствующий коэффициент согласованности) проводят на каждом из ядер.

При оценке состава экспертной группы осуществляется ранжировка экспертов по степени согласованности со всеми остальными членами группы:

Затем упорядочивается совокупность экспертов:

, где - наименее согласованный с остальными эксперт; - самый согласованный с остальными эксперт.

Данная процедура позволяет дополнительно ранжировать экспертов по «силе» их влияния на результат экспертизы, что при определенных обстоятельствах может трактоваться как дополнительный аргумент при индивидуальной оценке компетентности экспертов.

Иллюстрация работы метода рациональной консолидации представлена в виде алгоритма формирования согласованных групп экспертов на рисунке 10.

нет

нет

Рис 10. Алгоритм формирования согласованных групп экспертов на основе агрегирующего подхода.

Л и т е р а т у р а

1. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Исследование зависимостей: Справ. изд./Под ред. С.А. Айвазяна – М.: Финансы и статистика, 1985.

2. Айвазян С.А., В.М.Бухштабер, Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Классификация и снижение размерности: Справ. изд./Под ред. С.А. Айвазяна – М.: Финансы и статистика, 1989.

3. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. - М.: Статистика, 1980.

4. Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки в принятии плановых решений. - М.: Экономика, 1976.

5. Евланов Л.Г. Теория и практика принятия решений. - М.: Экономика, 1984.

6. Евланов Л.Г., Кутузов В.А. Экспертные оценки в управлении. - М.: Экономика, 1978.

7. Елтаренко Е.А., Крупинова Е.К. Обработка экспертных оценок. Учебное пособие. - М.: Изд. МИФИ, 1982.

8. Григорьев В.М. Эксперты в системе управления общественным производством. - М.: Мысль, 1976.

9. Дэвид Г. Метод парных сравнений. - М., "Статистика»,1978.

10. Дудорин В.И. и др. Методы социально-экономического прогнозирования (общие методы прогнозирования) /ГАУ. - М., 1991.

11. Литвак Б.Г. Экспертная информация: Методы получения и анализа. - М.: Радио и связь, 1982.

12. Литвак Б.Г. Экспертные оценки и принятие решений. - М.: Патент, 1996.

13. Литвак Б.Г. Разработка управленческого решения. - М.: «Дело», 2000.

14. Макаров И.М. и др. Теория выбора и принятия решений. - М.: Наука, 1982.

15. Орлов А.И. Эконометрика: Учеб.пособ. для вузов. - М.: «Экзамен», 2002.

16. Пфанцагль И. Теория измерений. - М.: Мир, 1976.

17. Рабочая книга по прогнозированию. Под ред. Бестужева-Лады И.В., М.: Мысль, 1982.

18. Саркисян С.А., Голованов Л.В. Прогнозирование развития больших систем. - М.: Статистика, 1975.

19. Саркисян С.А. и др. Анализ и прогноз развития больших технических систем. - М.: Наука, 1983.

20. Саркисян С.А. и др. Научно-техническое прогнозирование и программно-целевое планирование в машиностроении. - М.: Машиностроение, 1987.

21. Сидельников Ю.В. Теория и организация экспертного прогнозирования. - М.: Институт МЭМО АН СССР, 1990.

22. Сидельников Ю.В. Экспертиза: состояние и тенденции развития. - М.: МЭ и МО, №2, 1997.

23. Сиротин А.В., Мицкевич А.А. Методы и процедуры обработки экспертных оценок в управлении / МИУ. - М., 1980.

24. Толстова Ю.Н. Измерение в социологии: Курс лекций. - М.: ИНФРА-М, 1998.

25. Экспертные оценки в социологических исследованиях/ Под ред. С.Б.Крымского.- Киев: Наукова думка, 1990.

26. SPSS: искусство обработки информации. Анализ статистических данных и восстановление скрытых закономерностей: Пер. с нем./ А.Бююль, Цефель П. – СПб.: ООО «ДиаСофтЮП», 2001.

27. Stephen A.DeLurgio. Forecasting: Principles and Applications. The Irwin/McGraw-Hill, 1998.

28. Diebold, Francis X., Elements of forecasting in business, economics, government, and finance. An International Thomson Publishing Company, 1998.

29. Hanke J.E., Ritsch A.G., Wichern D.W. Business forecasting. Prentice Hall, 2001.

30. Forecasting with judgment/ edited by G.Wrigth and P.Goodvin. Wiley, 1998.

Поиск по сайту: