Предварительный анализ индивидуальных оценок экспертов

Исходный предварительный анализ индивидуальных оценок экспертов, полученных в результате проведения экспертизы, нацелен на выявление возможного несоответствия между полученными измерениями и априорными требованиями к ним с целью их последующей коррекции. Чаще всего это проявляется через обнаружение противоречий в суждениях экспертов.

Так при оценивании альтернатив в номинальной шкале для каждого участника экспертизы следует проверить условие корректности осуществление процедуры классификации, которое по понятным причинам сводится к выполнению следующего равенства , где

i – индекс альтернативы сравнения, ;

j – индекс эксперта, ;

k – индекс обобщающего класса, ;

- результат отнесения j-м экспертом i-ой альтернативы сравнения к объектам k-го класса.

Данное требование является следствием принципа запрета пересечения классификационных подмножеств по выбранному основанию класса и обеспечивает однозначную идентификацию альтернативы экспертом.

При получении оценок в шкале отношений в рамках использования процедур парных либо множественных сравнений ключевым индикатором корректности проведенной оценки является соблюдение свойства транзитивности оценок. Оно также без труда проверяется и при использовании метода ранжирования альтернатив (см. пример1). Однако в этой ситуации дополнительно следует осуществить проверку полученных данных индивидуального опроса на правильность выставления связных рангов (см.алгоритмы к примеру 1). И как уже раннее отмечалось проверить выполнение условия стандартизации полученной ранжировки, т.е. , где z_ji – ранг, присвоенный j–экспертом i -у объекту оценивания, а m – число альтернатив сравнения.

Часто в ходе работы с информацией, представленной в шкалах не менее совершенных, чем интервальная весьма полезной, а иногда и просто необходимой является процедура нормирования переменных, т.н. переход в так называемые z-координаты. Она, как правило, может быть осуществлена в соответствии с одним из приведенных ниже методов взвешивания.

, , , , где

- оценка i-м субъектом j-й альтернативы;

- среднее значение по альтернативе j;

- стандартная ошибка измерения j-й альтернативы;

- соответственно максимальное и минимальное значение j-й альтернативы.

Обычно стараются так провести процедуру нормирования, чтобы средняя по соответствующему признаку равнялась нулю, а дисперсия была близка к единице.

Как правило, после обнаружения некорректности в проставлении оценок или наличии со стороны менеджеров экспертизы дополнительных вопросов к экспертам по результатам индивидуального оценивания происходит дополнительный тур обсуждения результата с их респондентами. Иногда коррекция признается безусловно необходимой и она тут же осуществляется формально. Иногда аналитики экспертизы просят автора оценки обосновать свое мнение, как, например это делается в ходе процедуры Дельфы для авторов крайних суждений по проблеме. При этом во многом анализ индивидуальных результатов носит не формализуемый характер. Особо важно выяснить причины неудач. Чаще всего они объяснятся:

- неудачным подбором состава экспертной группы (ее качеством, количеством, предвзятостью и/или недобросовестностью членов группы и т.д.);

- неточной формулировкой задач, стоящих перед экспертами;

- неудачно выбранной методикой проведения процедуры организации экспертного опроса;

- малой изученностью предметной области, в границах которой проводится оценивание;

- реальным наличием нескольких несовпадающих точек зрения на перспективы объекта оценивания.

Поиск по сайту: