Оценка количественного состава группы экспертов

Качественные и количественные параметры состава экспертной группы всегда взаимосвязаны, что нередко отражается в конкретных методиках подбора экспертов. Это объясняется тем, что в конечном итоге определяющий критерий обоснования численности - это, прежде всего достижение высокого качества прогноза, генерируемого в результате индивидуального или же группового оценивания. А качественный экспертный прогноз возможен лишь при условии априорно высоких качественных параметров привлекаемых к его разработке специалистов по исследуемой проблеме.

На практике аналитики обычно используются два основных подхода при обосновании численности и качественного состава членов экспертной группы. Условно их можно разделить на статистический и эвристический с элементами количественного анализа. Ниже приводятся методы расчетов, отражающих оба подхода.

1. Статистический подход.

1.1. В качестве базы обоснования объема репрезентативной выборки экспертов можно воспользоваться некоторыми результатами теории вероятности при различных условиях генерирования случайной величины [1]. В частности полезным может оказаться следствие из различных форм закона больших чисел, в частности из неравенства Чебышева

, где

- тестовое значение дисперсии оценок экспертов;

- предельная априорно задаваемая ошибка оценивания;

- вероятность совпадения (точнее – не меньше) истиной оценки с усредненной по группе.

1.2. Использование результатов прикладного статистического анализа. Осуществляется кластерный анализ ответов экспертов (объединение экспертов, имеющих близкие оценки, в одну группу либо высокие показатели межклассовых расстояний) по всем оцениваемым вопросам экспертизы. В группу отбираются эксперты, ответы которых дают оптимальное значение по выбранному критерию качества кластеризации [2], например минимум среднеквадратического отклонения их ответов по тестовому множеству от среднего арифметического их групповой оценки. В том случае, если эксперты дают оценки в метрической шкале, то среднеквадратическое отклонение находится по формуле

,

где x_ij- оценка i-го эксперта по j-у вопросу, причем , .

2. Эвристический подход.

Примером эвристической процедуры обоснования численности экспертной группы можно привести метод “снежного кома”. Его формальное описание следует ниже.

2.1. Пусть М₀ – исходное множество экспертов, известных заранее. Осуществляется последовательный опрос специалистов из первоначального множества М₀ с целью выявления всего множества экспертов компетентных по данному вопросу. Первый опрошенный из них называет m₁(1) новых лиц, после чего кандидатов становится М₀ + m₁(1). После опроса любого k- го лица из М₀ выявленных лиц станет , а в итоге всего первого тура опроса выявляется () потенциальных претендентов на включение в экспертную группу, где М₁ - число новых лиц, названных в ходе первого круга опроса, его можно представить в виде следующей суммы: . В общем виде, число ранее не названных потенциальных кандидатов за r итераций опроса составит человек.

Очевидно, что необходимо выявить компромисс между желанием достичь идеально полного списка и нежеланием расходовать излишне много времени и средств на полный перебор и оценку потенциальных кандидатов. Для чего предлагается построить стохастическую модель рассмотренного ранее процесса на основе данных о потенциальном множестве экспертов, выявленных к окончанию какого-то тура опроса. Основной момент, который следует учесть при этом, что любое множество экспертов конечно и, начиная с какого-то момента, упоминаемые специалисты будут повторяться [25].

Обозначим как (N+1) - число всех кандидатов, которые могли бы быть признаны в качестве экспертов, оно заранее неизвестное.

М₀ - число априорно известных кандидатов.

m - число лиц, называемое каждым опрашиваемым кандидатом; m¢ - число новых, не входящих в ранее названное множество М₀ - лиц, названных каким-либо опрошенным. Допустим, что каждый опрошенный из М₀ называет m неизвестных ему лиц из N.

Рассмотрим случай полной неопределенности, т.е., когда опрошенный с равной вероятностью называет любые m лиц из N. При этом m¢ - случайная величина, принимающая значения от 0 до m.

Как следует из комбинаторных соображений, вероятность того, что какой-то опрошенный из М₀ назовет l новых, ранее не упомянутых лиц, можно оценить как , где l= , а С - знак оператора сочетания.

Следует отметить, что представляет собой гипергеометрическое распределение, из чего легко можно получить математическое ожидание m¢ и другие моменты. В этом случае математическое ожидание случайной величины m¢ определяется как e(m¢)=m(N+1-М₀)/N. С целью получения искомой оценки можно приравнять математическое ожидание числа ранее не упоминавшихся кандидатов к выборочному среднему по данным первого тура опроса исходного множества кандидатов М₀, тогда:

,

где - булева переменная, принимающая значение 1, если i-й кандидат из исходного множества М₀ называет лицо, ранее не входящее в М₀ , 0, в противном случае.

Отсюда следует, что исходное множество потенциальных экспертов по проблеме («генеральная совокупность») может быть оценена как . Следовательно, искомая приближенная оценка возможного числа кандидатов на единицу больше и равна .

При использовании на практике найденного числа в качестве обоснования количества членов экспертной группы необходимо иметь ввиду его приближенный характер. Следует разумно соотносить число реально доступных специалистов компетентных в соответствующей предметной областью с теоретически возможной величиной и, приняв во внимание затраты на новые туры опроса, решить, начинать ли следующий цикл опроса.

2.2. Определение верхней и нижней границ численности специалистов, входящих в группу экспертов, может строиться и на основе некоторых разумных гипотез. В том числе, относительно требований, предъявляемых к специалистам в данной предметной области. В качестве примера могут быть приведены следующие рассуждения [16, 18].

С одной стороны число человек, входящее в экспертную группу должно быть таким, чтобы удовлетворялось условие достаточной средней компетентности по группе, т.е. , где К – усредненный минимально допустимый уровень компетентности по группе в целом (может иногда определяться в долях от максимально возможного (К_max), например, К = 0,85К_max; k(n) – средний уровень компетентности на n-й итерации процедуры, т.е. при включении в группу n-го эксперта, следовательно, , где к_i - коэффициент компетентности i-го эксперта.

Таким образом, необходимое (n*), обеспечивающее требуемый качественный уровень, число экспертов можно оценить из условия выполнения соотношения вида . Однако приведенное условие является не достаточным, для однозначного определения численности группы, так как при этом должно соблюдаться условие устойчивости средне группового мнения. С целью установления этого факта проводится дополнительное тестовое исследование, призванное итеративно отыскать такое множество из s экспертов, чтобы выполнялось следующее неравенство:

, где М(s) - среднее значение тестовой оценки, выдаваемое группой из s экспертов, а М(s 1) - новое среднее значение при включении или исключении в исходную группу 1 человека. Т.е., s определяет такое количество специалистов, когда включение или исключение человека из экспертной группы не влияет на общую групповую оценку.

Таким образом, исходя из данного обоснования, окончательно количество человек в группе может быть найдено из условия . Где нижняя граница численности группы может задаваться директивно, например, из опыта, либо некого норматива, а может исходить из использования неких рекомендуемых [17] эмпирических формул расчета минимального числа экспертов, например: .

Заметим, что независимо от метода, используемого для подбора группы экспертов, возникает вопрос о ее составе. Считается, что в группах с однородным составом (по образовательному, должностному, возрастному, профессиональному статусу) бывает меньше расхождений между экспертами, быстрее происходит процесс согласования группового решения. В группах со случайным подбором кандидатов, как правило, эксперты приходят к согласованному мнению не так быстро, зато вырабатывают более широкий диапазон альтернатив и допускают меньше ошибок. В этой связи особое значение уделяется количественным методам обоснования процедур выявления необходимых качественных кондиций экспертной комиссии.

Поиск по сайту: