Применение экспертных технологий в управлении

Окончание табл. 4.1

Сущность экспертных методов заключается в получении ответов специалистов на поставленные перед ними вопросы. Полученная от экспертов информация в целях минимизации погрешностей и влияния субъективного фактора обрабатывается при помощи специальных логических и математических процедур и преобразуется в форму, удобную для выбора решения.

Для проведения работы по методу экспертных оценок создают Рабочую группу (РГ), которая и организует деятельность экспертов, объединенных (формально или по существу) в экспертную комиссию (ЭК). Основные задачи этой группы: постановка проблемы, определение цели и задач экспертизы; разработка процедур проведения экспертизы; отбор, проверка компетентности и формирование группы экспертов; проведение опроса экспертов и получение их оценок; обработка, формализация и интерпретация полученной информации.

Исходя из этого, выделяют следующие этапы экспертизы:

– формулировка цели экспертизы;

– построение объектов оценивания или их характеристик;

– формирование экспертной группы;

– определение способа экспертного оценивания и способа выражения экспертами своих оценок;

– проведение экспертизы;

– обработка и анализ результатов экспертизы;

– повторные туры экспертизы (если есть необходимость);

– формирование вариантов рекомендаций.

Регулярное проведение экспертиз по какому-то вопросу может довести процедуру экспертизы до высокой степени стандартизации, сделает экспертизу эффективным рабочим инструментом. Однако и здесь возникают свои сложности (рис. 4.1).

В зависимости от цели проведения экспертизы выделяют различные алгоритмы и подходы к ее проведению. Рассмотрим наиболее часто встречающиеся ситуации.

Если ставиться цель – собрать нужную информацию. Тогда Рабочая группа должна собрать как можно больше относящейся к делу информации, аргументов «за» и «против» определенных вариантов решений.

Рис. 2.1. Причины ошибок в технологии экспертных оценок

Полезен метод постепенного увеличения числа экспертов. Сначала первый эксперт приводит свои соображения по рассматриваемому вопросу. Составленный им материал передается второму эксперту, который добавляет свои аргументы. Накопленный материал поступает к следующему третьему – эксперту... Процедура заканчивается, когда иссякает поток новых соображений.

Отметим, что эксперты в рассматриваемом методе только поставляют информацию, аргументы «за» и «против», но не вырабатывают согласованного проекта решения. Нет никакой необходимости стремиться к тому, чтобы экспертные мнения были согласованы между собой. Более того, наибольшую пользу приносят эксперты с мышлением, отклоняющимся от массового, поскольку именно от них следует ожидать наиболее оригинальных аргументов.

Если цель – подготовка проекта решения. Тогда математические методы в экспертных оценках применяются для задач подготовки проекта решения. При этом зачастую некритически принимают догмы согласованности и одномерности.

Догма согласованности. Считается, что решение может быть принято лишь на основе согласованных мнений экспертов. Поэтому исключают из экспертной группы тех, чье мнение отличается от мнения большинства. При этом отсеиваются как неквалифицированные лица, попавшие в состав экспертной комиссии по недоразумению или по соображениям, не имеющим отношения к их профессиональному уровню, так и наиболее оригинальные мыслители, глубже проникшие в проблему, чем большинство. Следовало бы выяснить их аргументы, предоставить им возможность для обоснования их точек зрения. Вместо этого их мнением пренебрегают. Бывает и так, что эксперты делятся на две или более групп, имеющих единые групповые точки зрения.

Иногда заявляют, что в случае обнаружения двух или нескольких групп экспертов (вместо одной согласованной во мнениях) опрос не достиг цели. Это не так! Цель достигнута установлено, что единого мнения нет. Стремление обеспечить согласованность мнений экспертов любой целой может приводить к сознательному одностороннему подбору экспертов, игнорированию всех точек зрения, кроме одной, наиболее полюбившейся Рабочей группе.

Поскольку число экспертов обычно не превышает 20-30, то формальная статистическая согласованность мнений экспертов может сочетаться с реально имеющимся разделением на группы, что делает дальнейшие расчеты не имеющими отношения к действительности. Если же обратиться к конкретным методам расчетов, то необходимо помнить, что на самом деле положительный результат проверки согласованности таким способом означает ни больше, ни меньше, как отклонение гипотезы о независимости и равномерной распределенности мнений экспертов на множестве всех ранжировок. Другими словами, мы падаем жертвой заблуждений, вытекающих из своеобразного толкования слов: проверка согласованности в указанном статистическом смысле вовсе не является проверкой согласованности в смысле практики экспертных оценок.

С целью искусственно добиться согласованности стараются уменьшить влияние мнений экспертов-диссидентов. Жесткий способ борьбы с диссидентами состоит в их исключении из состава комиссии. Отбраковка экспертов, как и отбраковка, резко выделяющихся результатов наблюдений, приводит к процедурам, имеющим плохие или неизвестные статистические свойства.

Мягкий способ борьбы с диссидентами состоит в применении робастных (устойчивых) статистических процедур. Простейший пример: если ответ эксперта – действительное число, то резко выделяющееся мнение диссидента сильно влияет на среднее арифметическое ответов экспертов и не влияет на их медиану. Поэтому разумно в качестве согласованного мнения рассматривать медиану. Однако при этом игнорируются аргументы диссидентов.

В любом из двух способов борьбы с диссидентами ЛПР лишается информации, идущей от диссидентов, а потому может принять необоснованное решение, которое приведет к отрицательным последствиям. С другой стороны, представление ЛПР всего набора мнений снимает часть ответственности и труда по подготовке окончательного решения с комиссии экспертов и рабочей группы по проведению экспертного опроса и перекладывает ее на плечи ЛПР.

Догма одномерности. Распространен довольно примитивный подход так называемой «квалиметрии», согласно которому объект всегда можно оценить одним числом. Однако это не разумно, так как каждый объект можно оценивать по многим показателям качества.

Можно ли свести оценки по этим показателям вместе? Да, можно. При этом определяющей будет являться конкретная ситуация.

Таким образом, важна конкретная постановка задачи перед экспертами. Но такой постановки зачастую нет. А тогда «игры» по разработке обобщенного показателя качества не имеют объективного характера.

Альтернативой единственному обобщенному показателю является математический аппарат типа многокритериальной оптимизации – множества Парето и т.д.

В некоторых случаях всё-таки можно глобально сравнить объекты – например, с помощью тех же экспертов получить упорядочение рассматриваемых объектов изделий или проектов. Тогда можно подобрать коэффициенты при отдельных показателях так, чтобы упорядочение с помощью линейной функции возможно точнее соответствовало глобальному упорядочению. Наоборот, в подобных случаях не следует оценивать указанные коэффициенты с помощью экспертов. Эта простая идея до сих пор не стала очевидной для отдельных составителей методик по проведению экспертных опросов и анализу их результатов. Они упорно стараются заставить экспертов делать то, что они выполнить не в состоянии – указывать веса, с которыми отдельные показатели качества должны входить в итоговый обобщенный показатель. Эксперты обычно могут сравнить объекты или проекты в целом, но не могут вычленить вклад отдельных факторов. Раз организаторы опроса спрашивают, эксперты отвечают, но эти ответы не несут в себе надежной информации о реальности...

Экспертные оценки носят в значительной мере субъективный характер, поэтому при использовании подобных методов возникает весьма важный вопрос; кого считать экспертом и как выбрать «хорошего» эксперта, или, другими словами, как оценить качества эксперта?

Формирование состава экспертной комиссии зависит от: конкретной ситуации принятия решения; возможностей организаторов экспертизы привлечь для работы высококвалифицированных специалистов; возможностей специалистов принять участие в работе экспертной комиссии.

Проблема подбора экспертов является одной из наиболее сложных. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как это сделать? Надо сказать, что нет таких методов подбора экспертов, которые бы наверняка обеспечивали успех экспертизы.

В реальной практике ЛПР стремится либо сам составить мнение о профессиональном уровне кандидата в эксперты, либо доверяет это тем, кому поручена организация экспертизы. Поэтому при отсутствии возможностей и опыта организации и проведения экспертиз имеет смысл обращаться к услугам независимых центров экспертизы, информационно-аналитических центров и т.п., основными задачами которых являются анализ ситуации, оценка объектов экспертиз, подготовка и оценка альтернативных вариантов решений.

Часто предлагают использовать методы взаимооценки и самооценки компетентности экспертов. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие «компетентность» строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии.

При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль неосведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет работающих совместно. Однако привлечение таких пар специалистов не очень-то целесообразно, поскольку они слишком похожи друг на друга.

Использование формальных показателей (должность, ученые степень и звание, стаж, число публикаций...) может носить лишь вспомогательный характер. Успешность участия в предыдущих экспертизах – хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов.

В случае, если процедура экспертного опроса предполагает совместную работу экспертов, большое значение имеют их личностные качества. Один «говорун» может парализовать деятельность всей комиссии. В подобных случаях важно соблюдение регламента работы, разработанного Рабочей Группой.

При оценке качеств эксперта необходимо учитывать его профессиональные знания, опыт деятельности и эффективность работы в составе экспертных комиссий. Существует много способов оценки качеств эксперта, каждый из которых может быть удачно использован в конкретном случае. Они подразделяются на три основные группы: априорные, апостериорные, тестовые.

Априорные методы – это оценки качеств эксперта, при которых не используется информация о результатах его участия в предшествовавших экспертизах.

Апостериорными называются методы оценки качеств эксперта основанные на информации о результатах его участия в предыдущих экспертизах.

Тестовыми являются методы оценки качества эксперта, предполагающие проведение специального испытания.

Априорные методы оценки эксперта. К этой группе относятся такие наиболее распространенные методы самооценивания, суть которых заключается в том, что эксперт сам дает оценку своим качествам. При этом могут использоваться следующие способы:

1) самооценка по одной из балльных шкал (3-, 5-, 10- или 100-балльной);

2) самооценка с использованием вербально-числовых шкал, которые, наряду с численными значениями градаций, содержат их качественное описание;

3) самооценка по вербальной шкале, при которой эксперт дает словесную оценку своим знаниям и опыту, используя для этого качественные градации заранее разработанной шкалы;

4) самооценка при помощи дифференциального метода, при котором эксперт оценивает свои качества, используя два основных частных критерия: а) характеризующий его знакомство с основными источниками информации в данной области и б) характеризующий знакомство с объектом экспертизы.

Точность методов самооценки довольно спорна. С одной стороны, никто лучше самого эксперта не представляет всю совокупность знаний и опыта, которыми он обладает. С другой стороны, человек больше всего ошибается, оценивая свои собственные возможности.

К другой группе априорных методов оценки качеств эксперта относятся методы взаимной оценки, использование которых предполагает, что эксперты оценивают друг друга. Наиболее распространенный из них – метод списка экспертов. Каждый из экспертов составляет список специалистов, которых он считает компетентными в данной области. Затем на основе этих списков рассчитывают коэффициент компетентности эксперта – отношение числа списков, в которых данный специалист присутствует, к общему числу составленных списков.

К числу априорных методов оценки качеств эксперта относится также наиболее распространенный документационный, или анкетный метод. В нем для оценки определенных качеств специалиста предлагается пользоваться объективными характеристиками, имеющими документальное подтверж-дение, например, такими, как стаж работы, ученая степень, ученое звание, занимаемая должность, количество публикаций, индекс цитирования и т.п. При этом следует иметь в виду, что, основываясь только на этих объективных факторах, невозможно адекватно оценить пригодность и полезность участия эксперта в работе конкретной экспертной группы.

Апостериорные методы оценки. Эти методы предполагают при оценке качеств эксперта использование результатов его участия в предшествовавших опросах. С их помощью в определенной степени могут быть выявлены гибкие качества, как конформизм, конъюнктурность, компетентность эксперта.

В частности, для оценки уровня компетентности специалиста может быть применен метод парных сравнений. Его суть заключается в том, что эксперту последовательно предъявляются пары сравниваемых объектов оценки и он выбирает из каждой пары наиболее предпочтительный с его точки зрения объект. После предъявления всех пар у аналитиков имеется информация о сравнительных предпочтениях эксперта в отношении оцениваемых о6ьектов. При этом может возникнуть ситуация, когда при непосредственном сравнении первый объект предпочтительнее второго, второй предпочтительнее третьего, но в то же время третий объект оказывается предпочтительнее первого, т.е. возникает очевидное противоречие.

Апостериорный метод предполагает также оценку достоверности суждений эксперта. В качестве критерия, позволяющего оценить такую достоверность, используется коэффициент достоверности – относительная частота случаев, в которых эксперт приписывал наибольшую вероятность впоследствии подтвердившимся событиям. При использовании данного метода рассчитывают также среднее значение коэффициента достоверности экспертной комиссии и сравнивают с ним индивидуальные коэффициенты экспертов.

Еще одним методом апостериорной оценки является метод отклонения от результирующей групповой оценки. Этот метод основан на расчете коэффициента отклонения

Тестовые методы оценки качеств эксперта. Их суть – выполнение испытуемым экспертом некоторого заранее подготовленного задания. Достоинство этих способов в том, что они позволяют не только установить наличие у эксперта определенного профессионального уровня, но и выявить навыки и опыт, необходимые для продуктивного участия в работе экспертной комиссии.

Необходимо, однако, помнить, что проведение тестовых экспериментов требует соблюдения следующих важных правил:

· тест должен быть разработан специально под конкретные объекты экспертной оценки;

· истинные значения оцениваемых параметров (правильные ответы) должны быть известны аналитической группе, проводящей испытание, но не известны испытуемому эксперту;

· должна быть разработана шкала для определения точности оценок, даваемых экспертом;

· вероятность случайного угадывания истинной оценки должна быть очень мала.

Использование тестовых методов позволяет оценить такое важное профессиональное качество эксперта, как воспроизводим ость экспертных оценок. Для этого проводят несколько тестовых экспериментов, приближенных к условиям реальной экспертизы. При этом интервал времени между ними должен быть достаточным для того, чтобы испытуемый успел забыть результаты предыдущего. После чего сравнивают медиану собой полученные оценки.

Более стабильные (воспроизводимые) оценки эксперта свидетель-ствуют как о большей его профессиональной компетентности, так и о большей пригодности для участия в экспертной комиссии.

Необходимо подчеркнуть, что подбор экспертов – это функция Рабочей группы, и никакие методики подбора не снимают с нее ответственности. Именно на Рабочей группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу.

Объекты оценки и оцениваемые показатели весьма разнообразны. Если при этом эксперт должен измерить значение количественного показателя, он может указать конкретное числовое значение или интервал, в котором оно лежит. Если же эксперт должен определить значение показателя, который может быть оценен только качественно, то он может использовать для этого вербально-числовые шкалы.

Итак, экспертная информация может носить как количественный, так и качественный характер. Рассмотрим наиболее распространенные методы ее измерения отдельно для каждого из этих двух случаев.

Поиск по сайту: