Лекция 4. ЭКСПЕРТНЫЕ ОЦЕНКИ ПРИ РАЗРАБОТКЕ УПРАВЛЕНЧЕСКИХ РЕШЕНИЙ

Основные понятия об экспертных оценках

Экспертные оценки в той или иной форме использовались во все времена. Однако внимание к ним существенно возрастало по мере усложнения производственных технологий, а, следовательно, и процесса разработки решений. Официальным началом их становления считают 50-е – 60-е годы CC века.

Сущность экспертных методов заключается в построении рациональной процедуры интуитивно-логического мышления человека в сочетании с количественными методами обработки и анализа полученных результатов. При этом обобщенное мнение экспертов принимается как возможное решение проблемы.

Формирование состава экспертной комиссии зависит от конкретной ситуации принятия решений; возможностей организаторов экспертизы привлечь для работы высококвалифицированных специалистов; возможностей последних принять участие в работе экспертной комиссии.

Применяют три основные группы оценки качеств эксперта: априорные, апостериорные, тестовые.

Априорными называются методы оценки качеств эксперта, при которых не используется информация о результатах его участия в предшествовавших экспертизах. В эту группу включает в число прочих методы самооценивания, когда эксперт сам даёт оценку своим качествам, используя следующие способы:

· самооценка по одной из бальных шкал;

· самооценка с использованием числовых шкал, которые наряду с численными значениями градаций содержат их качественное описание;

· самооценка по вербальной шкале, т.е. эксперт даёт словесную оценку своим знаниям, используя качественные градации заранее разработанной шкалы;

· самооценка дифференцированным методом, когда эксперт оценивает свои качества, используя два основных критерия: характеризующий его знакомства с основными источниками информации в данной области; характеризующий знакомство с объектом экспертизы.

К другой группе априорных методов оценки качеств эксперта относятся методы взаимной оценки, использование которых предполагает, что эксперты взаимно оценивают друг друга. Наиболее распространённый из них – метод списка экспертов.

К числу априорных методов оценки качеств эксперта относится также весьма распространённый документационный (анкетный) метод.

Апостериорные методы оценки. Эти методы предполагают при оценке качеств эксперта использование результатов его участия в предыдущих опросах. С их помощью могут быть выявлены конформизм, конъюнктурность и компетентность эксперта. Для оценки уровня компетентности специалиста может быть применён метод парных сравнений.

Апостериорные методы предполагают также оценку достоверности суждений эксперта. В качестве критерия используется коэффициент достоверности - относительная частота случаев, в которых эксперт приписывал наибольшую вероятность впоследствии подтвердившимся событиям.

Ещё одним методом апостериорной оценки является метод отклонения от результирующей групповой оценки. Он основан на расчёте коэффициента отклонения К О.

К оi =D oi /D max

К oi -коэффициент отклонения суждений i-го эксперта; D oi -отклонение индивидуальной оценки i-го эксперта от результирующей оценки; D max –максимально возможное отклонение оценки эксперта от результирующей оценки.

Тестовые методы оценки качества эксперта. Их суть - выполнение испытуемым экспертом заранее подготовленного задания. Достоинство тестовых методов состоит в том, что они позволяют не только установить наличие у эксперта определённого профессионального уровня, но и выявить навыки и опыт, необходимые для эффективного участия в работе экспертной комиссии. Использование тестовых методов позволяет оценить и воспроизводимость экспертных оценок. Для этого проводят несколько тестовых экспериментов, приближённых к условиям реальной экспертизы. При этом интервал времени между ними должен быть достаточным для того, чтобы испытуемый успел «забыть» результаты предыдущего. После завершения эксперимента полученные оценки сравниваются.

Главными задачами экспертных оценок являются:

1. Определение целей. При принятии важных решений необходимо четко представлять цели, к достижению которых стремится ЛПР. Для сложных ситуаций рекомендуется применять “дерево целей”.

2. Экспертный прогноз. Особую роль при принятии решений играют проблемы, связанные с оценкой будущего развития анализируемых ситуаций, ожидаемых результатов альтернативных вариантов решений. Экспертная информация содержит не только количественные, но и качественные оценки, поэтому стать базой для прогнозов, и даже более реалистичной, чем тривиальная статистическая информация.

3. Сценарии ожидаемого развития ситуации. Наиболее часто для формирования сценария применяют метод “мозговой атаки” в сочетании со специальными приемами использования аналитической информации.

4. Генерирование альтернативных вариантов. Подобные процедуры могут предусматривать проведение экспертиз с использованием методов типа “мозговой атаки”, а также создание в сложных случаях автоматизированных систем генерирования альтернативных вариантов.

5. Определение рейтингов.

6. Оценочные системы. Формируются при индивидуальных и коллективных сравнительных оценках объектов экспертизы для определения степени достижения цели.

7. Принятие коллективных решений. Здесь проводится не только коллективная экспертиза, но и открытое обсуждение альтернативных вариантов решения, дополнительного обмена информацией между лицами, принимающими непосредственное участие в процессе принятия решений, согласования, поиска, компромисса.

Различают экспертизы однотуровые и многотуровые, анонимные и предусматривающие открытый обмен мнениями, с обменом информацией в процессе проведения экспертизы и без него и т.д. Характер экспертной информации, которую предполагается использовать при принятии решений, накладывает определенные требования на выбор конкретного метода экспертизы.

Рассмотрим наиболее популярные методы экспертиз.

Метод комиссий – это открытая дискуссия по обсуждаемой проблеме для выработки единого мнения экспертов. Коллективное мнение определяется в результате открытого или тайного голосования. В некоторых случаях к голосованию не прибегают, выявляя результирующее мнение в процессе дискуссии. Преимущества метода комиссий: возможен рост информированности экспертов за счет обсуждения обоснования экспертных оценок, и обратная связь (под воздействием полученной информации эксперт может изменить первоначальную точку зрения). Однако метод комиссий обладает и недостатками. В частности, отсутствует анонимность, что может приводить к появлению конформизма; дискуссия нередко принимает вид полемики наиболее авторитетных экспертов; различная активность экспертов, часто не совпадающая с их компетентностью; публичность высказываний сочетается порой с нежеланием некоторых экспертов отступить от ранее высказанного мнения, хотя оно в ходе дискуссии может претерпеть изменения.

Экспертиза по методу суда характеризуется некоторой аналогией с судебным процессом. Состав экспертов делится на две группы. Одна объявляется сторонниками рассматриваемой альтернативы и выступает в качестве защиты. Другая объявляется ее противниками и пытается выявить отрицательные стороны. Возможно и третья «сила», которая регулирует ход экспертизы и выносит окончательное решение.

Метод прогнозного графа. Он включает несколько туров. На первом туре составляется предварительный список промежуточных целей, необходимых для достижения конечной цели. Эксперты указывают специалистов, способных оценить возможность реализации каждой из указанных ими промежуточных и конечной целей. На втором туре анализу подвергаются уже не конечная, а промежуточные цели, сформированные экспертами на первом туре. Последующие туры экспертизы аналогичны второму. Процедура заканчивается на том туре, когда более не требуются дополнительные анализы и детализаций.

Метод сценариев. Сценарий означает сюжетную схему, то есть заранее подготовленный детальный план осуществлении чего-либо. Сценарии позволяют с определенным уровнем достоверности выявить возможные тенденции развития событий, взаимосвязи между взаимодействующими факторами, сформировать картину состояний, к которым может прийти ситуация под влиянием конкретных воздействий. При подготовке сценария большое внимание обращают на критические точки ветвления, т.е. точки, в которых малые воздействия оказывают заметное влияние на результат.

Каждый сценарий может быть реализован в нескольких вариантах. Вариант - небольшие (незначительные) изменения каких-либо параметров системы в рамках сценария. Чем больше генерируется и анализируется вариантов, тем выше эффективность адресных опережающих воздействий на конкретные подсистемы объекта управления.

В составе экспертных методов, наиболее активно используемых в настоящее время при выборе вариантов решений, наиболее известны “Дельфи” и «Мозговой штурм».

Метод «Дельфи»

Метод «Дельфи» один из основных в проведении групповых экспертиз и имеет различные модификации. Метод разработан и применен в США впервые в 1964 году сотрудниками научно-исследовательской корпорации РЭНД.

Метод "Дельфи" целесообразно применять в таких случаях, когда имеющиеся в распоряжении или доступные данные непригодны для анализа существующей проблемы; в распоряжении нет нужных данных; нет достаточного времени для сбора данных; процесс получения и анализа необходимых данных слишком дорог.

В "Дельфи" предусматривается создание условий, обеспечивающих эффективную работу экспертной комиссии. Это достигается анонимностью процедуры, с одной стороны, и возможностью пополнить информацию о предмете экспертизы, отказом от коллективного мнения. Еще одно важное свойство – обратная связь, позволяющая экспертам корректировать свои суждения с учетом промежуточных усредненных оценок и пояснений экспертов, высказавших "крайние" точки зрения. Для реализации обратной связи необходима многотуровая процедура. Экспертиза проводится, чаще всего в 4 тура.

Прямые дебаты заменены тщательно разработанной программой последовательных опросов, проводимых обычно в форме анкетирования. Ответы экспертов обобщаются и вместе с новой дополнительной информацией поступают в распоряжение экспертов, после чего они уточняют первоначальные ответы. Такая процедура повторяется несколько раз до достижения приемлемой согласованности всей совокупности высказанных мнений.

Перед рассылкой анкеты эксперту объясняется существо проблемы.

На первом туре экспертам сообщается цель экспертизы, и формируются вопросы, ответы на которые составляют основное содержание экспертизы. Успеху экспертизы способствует предоставление эксперту дополнительной информации о предмете экспертизы. Информация, полученная от эксперта, поступает в распоряжение аналитической группы, обеспечивающей организацию, проведение, обработку промежуточных и окончательных результатов экспертизы. Аналитическая группа определяет экспертов, высказавших “крайние” точки зрения, давших самую высокую и самую низкую оценку альтернативе, усредненное мнение экспертов — медиану, верхнюю и нижнюю квартили, т.е. значение оцениваемой альтернативы, выше и ниже которых расположены 25 % численных значений оценок. Расстояние между квартилями характеризует разброс экспертных оценок, т.е. согласованность точек зрения экспертов.

Степень согласованности мнений экспертов определяют коэффициентом вариации n, который не должен превышать 33%. Он рассчитывается по формуле:

,

где – среднее квадратическое отклонение оценок;

,

где x -среднее значение оценки;

x_i – оценка каждого эксперта; n – число экспертов.

Медиана — значение оценки, которое находится в середине ранжированного ряда. Для нахождения медианы ряда с четным числом вариант складывают две средние варианты и делят сумму пополам.

На втором туре экспертам предъявляется усредненная оценка экспертной комиссии и обоснования экспертов, высказавших “крайние” точки зрения. После получения дополнительной информации эксперты, как правило, корректируют свои оценки. Скорректированная информация вновь поступает в аналитическую группу. На третьем туре эта информация вместе с анонимными аргументациями поставленных оценок снова направляется каждому участнику. На основе полученной информации эксперты пересматривают предыдущие оценки. Если же оценка какого-либо эксперта значительно выходит за рамки общего интервала, то он должен подтвердить достаточной аргументацией свою позицию и объяснить, почему предыдущая информация и аргументация противоположных оценок не заставили его изменить свое мнение. На четвертом туре каждому эксперту предоставляется распределение оценок третьего тура, и он должен снова представить на рассмотрение пересмотренную оценку, учтя полученную информацию. Как показывает практика, желаемое согласие наступает к четвертому туру.

При использовании “Дельфи” полезно учитывать следующее:

1. Группы экспертов должны быть стабильными, и численность их должна удерживаться в благоразумных рамках.

2. Время между турами опросов не должно быть более месяца.

3. Вопросы в анкетах должны быть тщательно продуманы и однозначно сформулированы.

4. Число туров должно быть достаточным, чтобы обеспечить всем участникам возможность ознакомиться с причиной появления той или иной оценки, а также и для критики этих причин.

5. Должен проводиться систематический отбор экспертов.

6. Необходимо иметь самооценку компетенции экспертов по рассматриваемым проблемам.

7. Нужна формула согласованности оценок, основанная на данных самооценок.

8. Следует установить влияние общественного мнения на экспертные оценки и на сходимость этих оценок.

9. Необходимо установить влияние различных видов передачи информации экспертам по каналам обратной связи.

“Дельфи” является достаточно надежным инструментом получения экспертной информации. С его помощью выявляется преобладающее суждение специалистов по какому-либо вопросу в обстановке, исключающей их прямые дебаты между собой, но позволяющей им, вместе с тем, периодически взвешивать свои суждения с учетом ответов доводов коллег.

Поиск по сайту: