Оценка качественного состава группы экспертов

После определения численности экспертной группы администрация экспертизы приступает к непосредственному подбору ее состава, имея ввиду, что высокий индивидуальный качественный уровень специалиста является определяющим априорным фактором получения высококачественного прогноза.

Оценка качества потенциального эксперта представляет собой очень сложную и многогранную проблему хотя бы в силу того, что не всегда просто для решения конкретной задачи определить само понятие качественный эксперт. Рассмотрению этой проблемы посвящено значительное количество специальной литературы [3-8, 11-13, 21, 22]. Анализ источников позволяет предложить общую классификацию способов оценивания индивидуальных характеристик специалистов с точки зрения потенциальных возможностей для признания их пригодности с целью включения в экспертную группу. Общее условное представление способов оценки качества экспертов схематично отражено на рис. 9. Следует отметить допустимость пересечений представленных методов оценки, что в общем случае не приветствуется.

Процедура подбора экспертов может носить более или менее объективный характер и основываться как на качественной, так и на количественной информации. В одном случае основой процедур отбора могут стать разного рода тесты, изучение официальных документов или проверка эффективности прежней деятельности специалистов в роли экспертов и т.п. Более субъективным может считаться подход, связанный с использованием самооценки, а также различных схем взаимооценивания специалистов соответствующей предметной области. Кроме того, сам показатель качества может нести как некое существенное конкретное свойство специалиста (примеры приводились ранее), так и выражать степень их интегрированного присутствия у рассматриваемого субъекта в форме специальных обобщающих коэффициентов.

Однако принятие конкретного окончательного решения по способу качественного оценивания эксперта следует, на наш взгляд, принимать, исходя из подтверждения, с одной стороны, наличия ранее определенных характеристик «идеального» эксперта, а с другой, исходя из характеристики информационного потенциала решаемой проблемы.

В качестве примеров приведем некоторые способы индивидуального оценивания, основанные на использовании методов количественного анализа качественных характеристик эксперта.

1. Коэффициент компетентности эксперта на основе результатов его прошлой деятельности.

Индивидуальная априорная оценка компетентности эксперта является, пожалуй, самой естественной формой отражения индивидуального качества соискателей. Она производится по формуле Q_q = ,

сравнений

Методы оценки

С использованием бальных Методы оценки воспроизводимости

шкал противоречивости

Методы оценки

С использованием вербально- Методы оценки коньюктурности

числовых шкал достоверности и конформизма

эксперта

С использованием вербальных Методы оценки экспертов

шкал по отклонению от результиру- Методы тестового

щей оценки самооценивания

Дифференциальный метод _ На основе коэффициентов

согласия

Методы подпроблем

Методы социометрического

опроса

Методы усреднения

Рисунок 9. Методы оценки качества эксперта

где N_c - число случаев, в которых прогноз, проведенный данным экспертом по проблеме, признан удачным (была получена точная оценка);

N - число случаев участия в экспертизе.

2. Интегральная оценка коэффициента компетентности на основе документационного подхода [17] может осуществляться следующим образом:

, где

k_j – документально подтвержденная оценка специалиста по его j -й характеристике;

- максимально возможная оценка по j -й характеристике;

q – самооценка специалиста по проблеме в целом;

- максимально возможная оценка по проблеме в целом.

3. Оценка компетентности эксперта на основе коэффициента непротиворечивости (Q_c).

Одним из существенных требований к «качественному» эксперту является выполнение свойств стабильности и транзитивности его оценок во времени. В качестве критерия эффективности оценивания такого рода, в частности, предлагается использовать коэффициент непротиворечивости или как иногда его называют коэффициент совместности. Коэффициент непротиворечивости указывает долю непротиворечивых утверждений относительно максимально возможного числа противоречий, которые могут быть допущены экспертом при работе на заданном множестве альтернатив выбора. В общем виде его можно представить следующим образом:

Q_c = 1 – d/d_max (1), где

d – количество высказанных экспертом противоречивых суждений в соответствующей экспертизе;

d_max – максимально возможное количество противоречивых суждений в соответствующей экспертизе.

Напомним, что непоследовательность суждений эксперта, выражаемая нарушением свойства транзитивности его оценок, формально проявляется в обнаружении наличия в результатах его оценок следующих суждений (более полный перечень можно, например, обнаружить в [12]).

1. Альтернатива a_i более предпочтительна, чем альтернатива a_j. Альтернатива a_j более предпочтительна, чем альтернатива a_k, но a _k более предпочтительна, чем альтернатива a_i, т.е.

2. Альтернатива a_i эквивалентна альтернативе a_j. Альтернатива a_j эквивалентна альтернативе a_k, но a_k не эквивалентна альтернативе a_i, т.е. .

Отметим, что первое утверждение соответствует нарушениям, допускаемым экспертом при использовании метода парных сравнений, а второе отражает нарушения свойства транзитивности при проведении процедур классификации объектов.

Непоследовательность заключений может объясняться разными причинами. Она может являться как следствием чрезвычайной сложности предметной области, в рамках которой осуществляется экспертиза, так и субъективные свойства эксперта, его осознание поставленных целей, знание предметной области, степень конъюнктурности и т.п. Задача аналитиков, оценивающих качество экспертов по данному критерию, определить индивидуальные коэффициенты совместности, оценить их допустимый уровень и если необходимо выявить конкретные причины непоследовательности выводов экспертов.

Данный способ применим на основе анализа результатов как прошлой, так и текущей деятельности субъекта в качестве эксперта по проблеме. Исходная информация может быть представлена измеренной либо в любой форме порядковой и интервальной шкал, допускающей сведение к парному измерению альтернатив, либо как результат классификации экспертом альтернатив. Таким образом, оцениваться может как качественная, так и количественная информация об объектах.

Рассмотрим случай сравнения парных альтернатив по предпочтениям [12]. Пусть рассматривается m альтернатив сравнения. В этом случае экспертом производится m(m-1)/2 парных сравнений. Результаты такого сравнения можно представить в виде матрицы парных сравнений , содержащую следующую информацию

, где 1 указывает на предпочтительность i -й альтернативы j- й, а 0 – в противном случае.

Заметим также, что иным способом отражения информации о результатах сравнения может быть их представление в виде направленного графа, в котором направление указывается от более предпочтительной альтернативы к менее. Понятно, что требование запрета на транзитивность соответствует запрету циклов в рамках графического представления. При этом в ситуации нарушения свойства транзитивности граф произвольной длинны всегда будет содержать циклы длинны 3. Обнаружение такого рода ситуаций и их относительное взвешивание и лежит в основе конкретного оценивания параметров формулы (1).

В зависимости от количества альтернатив сравнения оценка максимального числа противоречий - d_max на заданном множестве оценивается следующим образом

d_max = m(m² - 1)/24, если m – нечетно,

d_max = m(m² - 4)/24, если m – четно.

Для определения числа фактически сделанных ошибочных суждений – d следует подсчитать значения строчных сумм матрицы А, т.е. . Тогда или с учетом результатов комбинаторных вычислений, (см. например, [12]) .

Таким образом, окончательно для оценивания противоречивости суждений эксперта в случае представления результатов его работы в виде матрицы парных сравнений формула (1) примет следующий вид

Q_c = 1 – 24d/(m³ - m), если m – нечетно,

Q_c = 1 – 24d/(m³ – 4m), если m – четно.

Рассмотрим особенности вычисления коэффициента непротиворечивости суждений при проведении экспертами классификации альтернатив. Пусть рассматривается m альтернатив сравнения. Результаты классификации объектов оценивания можно представить в виде матрицы парных сравнений А, содержащую следующую информацию

, где 1 указывает на принадлежность i -й и j -й альтернативы одному классу объектов экспертного сравнения, а 0 – в противном случае.

Известно, что в случае представления классификационных суждений эксперта в виде неориентированного графа противоречие типа отражается на нем в форме незамкнутой цепи по тройке альтернатив, иначе говорят – вилки. Воспользуемся этим соображением. Ясно, что в этой ситуации максимально возможное число противоречивых суждений о тройках альтернатив - d_max можно свести к оценка максимально возможного количества вилок на соответствующем неориентированном графе. Тогда, исходя из результатов комбинаторных вычислений, имеем

d_max = m²(m - 2)/8, если m – четно,

d_max = (m² – 1)(m - 2)/8, если m – нечетно.

Оценка числа фактически сделанных ошибочных суждений – d, полученная на основании результатов о числе вилок на неориентированном графе методами комбинаторного оценивания, проводится в соответствии со следующей формулой , где

tr(A’³) – трек матрицы A’³, исчисляемой на основе матрицы A’, которая в свою очередь получена из матрицы А путем замены элементов a_ij, на 0;

z_i – степень i-й вершины в графе, матрицей смежности которого является A’.

Таким образом, окончательно для оценивания противоречивости суждений эксперта в случае осуществления им классификационных суждений относительно исходного множества альтернатив формула (1) примет следующий вид

Q_c = 1 –8d/(m³ - 2m²), если m – четно,

Q_c = 1 – 8d/(m² – 1)(m - 2), если m – нечетно.

Очевидно, что большее значение коэффициента непротиворечивости суждений - Q_c свидетельствует о более высоком качестве специалиста, а, следовательно, его потенциальной пригодности к введению в экспертную группу. Контрольное пороговое значение коэффициента совместности обычно устанавливается с одной стороны, исходя из эмпирических данных о максимальной допустимости нарушения транзитивности оценок, полученных в ходе проведения предыдущих экспертиз. А с другой, имея в виду принципиальную допустимость такого рода логических нарушений при осуществлении прогноза в соответствующей предметной области, с учетом вероятности последствий его неосуществления.

4. Оценка вектора компетентности экспертов на основе алгоритма решения задачи о лидере (q).

В практике оценивания качества экспертов широкое применение находят также методы взаимного оценивания потенциальных экспертов. Как правило, они отличаются процедурами проведения опросов респондентов, а также способом представления информации об объекте оценивания.

К наиболее интересным с точки зрения обоснованности результата, как, имея в виду снижение уровня субъективности, предвзятости оценки, так и увеличения степени объективизации результата на основе использования математических методов, может быть назван подход, основанный на использовании так называемого алгоритма решения задачи о лидере [3, 4]. Основой данного алгоритма является итеративное уточнение относительных коэффициентов компетентности по результатам суждений исходной группы специалистов о кандидатах на включение в экспертную группу. Непосредственно сам коэффициент компетентности представляет собой субъективную интегральную оценку одного специалиста в предметной области другим. Содержание оценки заранее должно быть оговорено администрацией проведения экспертизы. Она, например, может отражать только лишь факт признания либо нет специалиста экспертом по интересующей проблеме со стороны другого, т.е. по сути, быть бинарной переменной, принимающей значение 0 или 1. А может носить и относительный оценочный характер одного специалиста другим, например, в бальном измерении. В последнем случае желательно, хотя и не обязательно, предложить оценщикам одинаковый заранее заданный масштаб измерений.

Содержание процедуры выражается следующими действиями.

На основе предварительного анализа (возможности проведения рассматривались ранее) составляется исходный список потенциальных кандидатов на включение в экспертную группу. Специалистам предлагается высказать мнение о целесообразности (мере целесообразности) включения в экспертную группу того или иного кандидата из предварительного списка. Исходя из их суждений о допустимости включения каждого из указанных субъектов в группу, либо бальной оценке интегрального уровня компетентности эксперта следует проранжировать исходное множество специалистов в соответствии с некоторым наперед заданным критерием, например, снижением уровня компетентности. Дополнительно администрации экспертизы следует оговорить возможность оценивания на предмет включения в группу либо нет самих субъектов оценивания.

Таким образом, в результате опроса группы специалистов формируется матрица А индивидуального оценивания каждого эксперта всеми остальными. Она, например, может представляется в следующем виде.

, где 1 – признак включения i – го специалиста в группу j – м, а 0 – наоборот.

Тогда относительный коэффициент компетентности на t – ой итерации расчета можно посчитать так:

, где , , m – размер оцениваемого множества. При этом коэффициенты нормируются так, что . Таким образом, коэффициент компетентности i – го эксперта на 1 – ой итерации составит , на 2-й и т.д. В общем случае на t – ой итерации происходит вычисление общего вектора компетентности q = (q_i), в соответствии с соотношением . В качестве исходного значения вектора компетентности на 1-й итерации расчетов можно принять вектор q⁰. Его компоненты изначально могут приниматься равновеликими, например,

Уточнение коэффициента происходит за счет «силы» мнений оценивающих специалистов, которая связана с тем, на сколько компетентными, или другими словами, пригодными к включению в экспертную группу считают их коллеги. Последовательное вычисление коэффициента приводит к довольно быстрому, обычно 3-4 итерации, схождению общего вектора компетентности к его равновесному состоянию [4, 10, 11]. В этой связи полезно уметь находить аналитически значения результирующего вектора компетентности:

при и .

Доказано, что предельные значения вектора компетентности представляют собой компоненты собственного вектора для максимального характеристического корня матрицы , который в свою очередь определяются из решения алгебраического уравнения . Получение максимального собственного числа матрицы А позволяет путем решения системы размерности (m+1) m вида

,

,

отыскать решение поставленной задачи - найти предельные значения вектора компетентности. Последнее гарантированно возможно при условии выполнения свойства неразложимости матрицы оценок А. Найденный собственный вектор q служит основанием для ранжировки группы экспертов в соответствии с заранее заданным правилом.

5. Оценка вектора компетентности экспертов (q) на основе минимизации отклонения индивидуального суждения эксперта от средне группового результата.

Данный метод оценивания позволяет извлечь сведения о компетентности экспертов на основе сведений об их априорных оценках альтернатив выбора. Результаты могу быть получены исходя как из тестовых примеров, так и на основе анализа результатов участия специалистов в более ранних экспертизах по сходным проблемам. Введем следующие условные обозначения.

- исходная матрица оценивания всех альтернатив сравнения каждым из экспертов, при этом

x_ij – оценка i-го объекта, сделанная j–м экспертом в интервальной шкале, где - индекс объекта сравнения, m – число объектов;

- индекс субъекта сравнения, n – число экспертов.

q^t – вектор компетентности эксперта на t-й итерации расчетов;

x^t – усредненный вектор групповой оценки сравниваемых альтернатив на t -й итерации расчетов;

e – вектор единичных компонент соответствующей размерности.

Коэффициенты компетентности экспертов вычисляются с помощью рекуррентной процедуры, основанной на корректировке коэффициентов компетентности в зависимости от степени согласованности оценок экспертов с групповой оценкой объектов. В свою очередь происходит итеративное уточнение группового результата оценивания альтернатив сравнения путем учета в результате оценки уровня компетентности эксперта ее выставляющего.

Тогда, исходя их сказанного, на каждой итерации расчетов процедура уточнения оценок альтернатив и специалистов могут быть соответственно записаны следующим образом:

(2);

(3).

Т.е. на начальном этапе расчетов первое приближение вектора взвешенной групповой оценки альтернатив можно оценить, как , а первое приближение вектора компетентности членов группы с учетом соответствия индивидуально определяемых оценок усредненной по группе составит , где изначально предполагается равновеликая компетентность привлеченных к работе экспертов, т.е. . Понятно, что итерации следует продолжать до тех пор пока вектора компетентности и оценок объектов соседних итераций не станут соответственно неразличимо малы. Исследования показывают достаточно высокую скорость схождения этого процесса [4]. Однако, как ранее уже упоминалось, решающую роль в возможности эффективного получения результатов итеративных вычислений играют свойства матриц первичных оценок. Не трудно заметить, что исходная процедура расчета (1-2) может быть заменена на эквивалентную, но с выполнением требования сепарирования соответствующих характеристик оценивания: экспертов и объектов сравнения, т.е. к виду:

(2’),

(3’).

В таком случае при принадлежности матриц , , полученных на основе исходной матрицы оценок X, к классу неразложимых матриц и проведении процедур нормализации векторов компетентности и групповой оценки соответственно, как и мы в праве осуществить замену соотношений (2’-3’) на соответствующие

(2’’),

(3’’).

Откуда очевидно, что в частности поиск результирующего вектора компетентности экспертов - q сводится к отысканию собственного вектора для максимального характеристического корня матрицы , который определяется из решения алгебраического уравнения . Далее, учитывая, что , из соотношения нетрудно получить значение результирующего вектора q.

Следует отметить, что бесспорным достоинством данного метода является то, что наряду с решением проблемы оценки качества экспертов мы, в рамках того же подхода, имеем возможность, одновременно обработать совокупность индивидуальных оценок и получить результирующую характеристику оцениваемых альтернатив, т.е. вектор x. Его значения могут быть найдены из решения системы

,

при наложении дополнительного условия нормировки оценок альтернатив, а также после отыскания максимального характеристического корня матрицы , который определяется из решения уравнения

.

Такой подход к оцениванию экспертной информации делает возможным использование представленной процедуры не только при работе с априорно полученными данными, но и непосредственно в ходе текущей экспертизы при исследовании задач прогнозирования с достаточным информационным потенциалом проблемы.

Проиллюстрировать выше представленные рассуждения можно с помощью следующего примера [10].

Пусть 5 экспертов (n=5) оценили два объекта (m=2):

Проведем вычисление групповых оценок и коэффициентов компетентности. Средние оценки объектов первого приближения при t = 1 равны:

Вычислим величину :

Отсюда получаем коэффициенты компетентности:

Вычисляем групповые оценки объектов второго приближения, получаем вектор x² =(0,32;0,68). Величина вектор коэффициентов компетентности имеет вид q² =(0,218;0,1664;0,1793;0,1052;0,2311), соответственно x³ =(0,31776;0,68224) и Видим, что значения q,l,x стабилизировались и дальнейшие вычисления бессмысленны. Таким образом, полученные вычисления позволяют сделать значимые выводы как относительно уровня компетентности экспертов, в окончательном виде его можно записать в виде следующей ранжировки экспертов R = {2, 4, 3, 5, 1}, так и относительно групповой интегральной оценки объектов сравнения X = (0,32; 0,68).

Поиск по сайту: