Метод экспертных оценок

Метод экспертных оценок, называемый также экспертным опросом, в общем виде представляет собой опрос специалистов, компетентных в какой-либо, нужной исследователю области. Опрос таких лиц называется экспертным, а установленные в его ходе суждения респондентов о свойствах изучаемого явления - экспертными оценками.
Экспертная оценка — компетентное мнение, мнение эксперта по какой-либо из проблем, находящихся в сфере его компетенции.
Основные отличия экспертного опроса от массового состоят в следующем:
- количество респондентов в массовом опросе значительно больше, чем в экспертном;
- экспертный опрос не является анонимным;
- экспертный опрос отличается более сложным инструментарием;
- труд экспертов, в отличие от труда респондентов всегда оплачивается.

Проведение отбора экспертов, как правило, осуществляется методом самооценки и определением коэффициента компетентности. Кандидатам раздаются карточки с тремя позициями оценки: К1 - высокая оценка- 1балл; К2 - средняя оценка - 0,5 балла; КЗ - низкая оценка - 0 баллов.
С их помощью, кандидаты оценивают свой уровень теоретических знаний, практический опыт и уровень прогностической компетентности. После ответов кандидатов, вычисляют коэффициент компетентности каждого по формуле К= (К1+К2+КЗ)/3 (образец карточки прилагается).
Слабость данного метода состоит в возможной неадекватности оценки.

На основании полученных данных строится таблица взаимных оценок.
.
Интегрирование (согласование, комплексирование) экспертных оценок необходимо тогда, когда нужно:
1) выработать научно обоснованное управленческое решение;
2) сформулировать миниконцепцию, объясняющую новые явления и процессы, происходящие в изучаемом микросоциуме, и дающую основание для последующего теоретизирования.
Реализация интегрирования предполагает выполнение ряда исследовательских операций в следующей последовательности:
1. Установление мнений экспертов по исследуемой проблеме в заочной форме, то есть путем анкетирования, заполнения экспертами специальных документов (карт, бланков), изучение монитором (исследователем) докладных записок и иных материалов экспертного характера.
2. Шкалирование выявленных мнений экспертов, т.е. сопоставление показателей их отношения к предмету экспертизы либо по ранговой, либо по номинальной, либо метрической шкалам, или по некоторой совокупности этих шкал.
3. Согласование мнений экспертов по технике Делъфи, предусматривающей трех-шестикратное повторение заочных опросов экспертов и соответствующее число шкалирования их оценок. На каждом новом этапе опроса (интеграции) монитор информирует экспертов о результатах предыдущего опроса, сообщает им о мнении большинства и просит аргументировать свое мнение, т.е. его совпадение или расхождение с тем, которое претендует на господствующую роль. При этом на каждом этапе эксперту предлагается определить место своего мнения в заранее подготовленной шкале. Каждый этап завершается статистической обработкой полученных от экспертов шкал, исчислением средних арифметических показателей, медианы и квартилей, определением показателей разброса мнений, выявлением крайних мнений, т.е. особо отклоняющихся от оценок большинства. Типичных выразителей крайних мнений и господствующей оценки приглашают для участия в последующих процедурах интегрирования экспертных оценок.
4. Очное выяснение отношений экспертов к предмету экспертизы и разным вариантам решения обсуждаемой проблемы в групповой дискуссии. Она может проводиться как методами фокус-группы и «проблемного колеса», так и на основе иных способов активизации творческого мышления в группе - «мозговой штурм, синектика, ИПИД и т.п.
5. Ранжирование предложенных экспертами вариантов решения исследуемой проблемы, их упорядочивание по трем, как минимум, основаниям:
1) степени популярности, т.е. представленности в коллективном мнении экспертов;
2) мере реализуемости, возможности практического выполнения;
3) последствиям их реализации для тех социальных систем (и подсистем), в которых сложилась исследуемая проблема.
Эта исследовательская операция делается после и по итогам очного сопоставления мнений экспертов. Когда в исследовании применяются не одна, а несколько форм групповых дискуссий, возникает необходимость нескольких туров ранжирования, переплетения этой исследовательской операции с предыдущей. Данное ранжирование необходимо для выработки оптимального решения проблемы и последующего этапа интеграции оценок экспертов.
6. Синтезирование экспертных оценок в форме мини-теории, т.е. непротиворечивого научно доказательного объяснения изученного явления, его причин и тенденций изменения, возможностей влияния на него со стороны различных субъектов социальной жизни. Эта операция требует от исследователя солидной теоретической подготовки (ибо разработка мини-теории предполагает знание теорий более высокого уровня), аналитических навыков и научной достоверности. Она призвана обобщить все оценки экспертов, отразить не только достигнутый уровень их согласия, но и мнения, выпадающие из общей их картины.
Разработка такой мини-концепции необходима в двух отношениях:
во-первых, в качестве одного из «кирпичиков», из которых строятся социологические теории «среднего», а затем и «большего» уровней;
во-вторых, для завершения процедуры интегрирования экспертных оценок.
7. Комплексирование экспертных оценок - последняя исследовательская операция по интеграции мнений экспертов. Ее конечный результат -комплексная программа решения изученной проблемы (или несколько вариантов такой программы). Она должна логично вытекать из выше охарактеризованной мини-теории и содержать перечень мер, реализация которых обеспечит решение исследовательского вопроса.
Предлагаемые меры дифференцируются:
- на стратегические (важные и долговременные) и тактические (детализирующие первые);
- по времени исполнения (первоочередные, второочередные и т.п.);
- по затратам разнообразных ресурсов;
- по ожидаемому эффекту от этих затрат;
- по адресатам (организациям, персонам), могущим реализовать рекомендации;
- по другим основаниям, зависящим от характера проблемы и способов ее решения.
Как правило, экспертный опрос нацелен на уточнение гипотез, разработку прогноза и пополнение интерпретации определенных социальных явлений и процессов. В таких опросах доминируют открытые формулировки, а закрытые вопросы предназначены лишь для оценки уровня уверенности, меры согласия или несогласия с уже высказанными позициями других специалистов.
Выявление экспертных оценок необходимо при анализе наиболее существенных аспектов исследуемой проблемы, особенно в ситуациях дискуссионности их трактовок или фактического отсутствия определенности в их осмыслении наукой. В таких случаях метод экспертных оценок выступает в роли основного метода исследования.

Метод Дельфи

С помощью серии последовательных действий – опросов, интервью, мозговых штурмов – добиться максимального консенсуса при определении правильного решения. Анализ с помощью дельфийского метода проводится в несколько этапов, результаты обрабатываются статистическими методами.

Базовым принципом метода является то, что некоторое количество независимых экспертов (часто несвязанных и не знающих друг о друге) лучше оценивает и предсказывает результат, чем структурированная группа (коллектив) личностей. Позволяет избежать открытых столкновений между носителями противоположенных позиций т.к. исключает непосредственный контакт экспертов между собой и, следовательно, групповое влияние, возникающее при совместной работе и состоящее в приспособлении к мнению большинства, даёт возможность проводить опрос экстерриториально, не собирая экспертов в одном месте (например, посредством электронной почты)

Субъекты:

· группы исследователей, каждый из которых отвечает индивидуально в письменной форме.

· организационная группа — сводит мнения экспертов воедино.

Этапы:

Предварительный:

· подбор группы экспертов — чем больше, тем дольше — до 20.

Основной:

· постановка проблемы — экспертам рассылается вопрос и предлагается его разбить на подвопросы. Организационная группа отбирает наиболее часто встречающиеся. Появляется общий опросник.

· этот опросник рассылается экспертам. Их спрашивают — можно ли добавить ещё что-то; достаточно ли информации; есть ли дополнительная информация по вопросу? В итоге получаем 20 вариантов ответов с дополнительными аспектами и информацией. На основе этого составляется следующий опросник.

· улучшенный опросник вновь рассылается экспертам, которым теперь надо дать свой вариант решения, а также рассмотреть наиболее крайние точки зрения, высказанные другими экспертами. Эксперты должны оценить проблему по аспектам: эффективность, обеспеченность ресурсами, в какой степени соответствует изначальной постановке задачи. Таким образом выявляются преобладающие суждения экспертов, сближаются их точки зрения. Всех экспертов знакомят с доводами тех, чьи суждения сильно выбиваются из общего русла. После этого все эксперты могут менять мнение, а процедура повторяется.

· операции повторяются, пока не будет достигнута согласованность между экспертами, или не будет установлено отсутствие единого мнения по проблеме. Изучение причин расхождений в оценках экспертов позволяет выявить незамеченные ранее аспекты проблемы и зафиксировать внимание на вероятных последствиях развития анализируемой проблемы или ситуации. В соответствии с этим и вырабатывается окончательная оценка и практические рекомендации. Обычно проводится три этапа, но если мнения сильно разнятся - то больше.

Аналитический:

· проверка согласованности мнений экспертов, анализ полученных выводов и разработка конечных рекомендаций.

Поиск по сайту: