Контрольное задание 3

Методы обработки экспертных оценок

Цель работы

Изучение методов экспертной оценки эффективности принимаемых решений.

Краткие теоретические сведения

В настоящее время распространены экспертные, маркетинговые, ква-лиметрические, социологические и иные опросы, в которых опрашиваемых просят выставить баллы объектам, изделиям, технологическим процессам, предприятиям, проектам, заявкам на выполнение научно-исследовательских работ, идеям, проблемам, программам, политикам и т.п., а затем рассчиты­вают средние баллы и рассматривают их как интегральные оценки, выстав­ленные коллективом опрошенных. Какими формулами пользоваться для вы­числения средних величин?

Целесообразно использовать одновременно два метода: метод средних арифметических рангов (баллов) и метод медианных рангов. Такая рекомен­дация находится в согласии с концепцией устойчивости, рекомендующей ис­пользовать различные методы для обработки одних и тех же данных с целью выделить выводы, получаемые одновременно при всех методах. Такие выво­ды, видимо, соответствуют действительности, в то время как заключения, меняющиеся от метода к методу, зависят от субъективизма исследователя, выбирающего метод обработки исходных экспертных оценок.

Методические указания

Для демонстрации упомянутых методов обработки экспертных оценок рассмотрим пример сравнения восьми проектов. Экспертному совету, в со­став которого входит 12 специалистов, было представлено восемь проектов по развитию новых направлений бизнеса. Задача экспертов заключается в определении наиболее перспективного проекта для последующего выделения под него кредита на льготных условиях.

Проекты обозначены восемью первыми буквами латинского алфавита А,...,Н. В таблице 1 приведены ранги восьми проектов, присвоенные им каж­дым из 12 экспертов в соответствии с их представлением о целесообразности выделения кредита авторам проекта. При этом эксперт присваивает ранг 1 самому лучшему проекту, который обязательно надо реализовать. Ранг 2 по­лучает от эксперта второй по привлекательности проект,... наконец, ранг 8 -наиболее сомнительный проект, который стоит реализовывать в последнюю очередь. Анализируя результаты работы экспертов (то есть табл. 1), руководители финансовых структур были вынуждены констатировать, что полного согласия между экспертами нет, а потому данные, приведенные в таблице 1, следует подвергнуть более тщательному математическому анализу.

Примечание. Эксперт № 4 считает, что проекты С и D равноценны, но усту­пают лишь одному проекту - F. Поэтому проекты С и D должны были бы стоять на втором и третьем местах и получить баллы 2 и 3 соответственно. Но поскольку они равноценны, то получают средний балл (2+3)/ 2 = 5/2 = 2,5.

Сначала был применен метод средних арифметических рангов. Для этого была подсчитана сумма рангов, присвоенных проектам. Затем эта сум­ма была разделена на число экспертов, в результате рассчитан средний арифметический ранг (именно эта операция дала название методу). По сред­ним рангам строится итоговая ранжировка (в другой терминологии - упоря­дочение), исходя из принципа: чем меньше средний ранг, тем лучше проект.

Наименьший средний ранг, равный 2,625, у проекта D, следовательно, в итоговой ранжировке он получает ранг 1. Следующая по величине сумма, равная 3,125, у проекта С, и он получает итоговый ранг 2. Проекты В и F имеют одинаковые суммы (равные 3,25), значит, с точки зрения экспертов, они равноценны (при рассматриваемом способе оценки мнений экспертов), а потому они должны бы стоять на 3 и 4-м местах и получают средний балл (3+4) / 2 = 3,5. Дальнейшие результаты приведены в таблице 2.

Итак, ранжировка по суммам рангов (или, что то же самое, по средним арифметическим рангам) имеет вид:

D < С< {В, F} < А < G < Е < Н. (1)

Здесь запись типа «А<Б» означает, что проект А предшествует проекту Б (то есть проект А лучше проекта Б). Поскольку проекты В и F получили одинаковую сумму баллов, то по рассматриваемому методу они эквивалент­ны, а потому объединены в группу (в фигурных скобках). В терминологии математической статистики ранжировка (1) имеет одну связь

Далее был использован метод, в соответствии с которым проекты не­обходимо ранжировать по медианам рангов.

Рассмотрим вычисление медианы рангов проекта А. Для этого возьмем ответы экспертов, соответствующие проекту А из таблицы 1, и расположим их в порядке неубывания (проще было бы сказать - «в порядке возрастания», но поскольку некоторые ответы совпадают, то правильнее использовать термин «неубывание»). Получим последовательность: 1, 1, 5, 5, 5, 5, 5, 6, 6, 6, 7, 8. На центральных местах - шестом и седьмом - стоят 5 и 5. Следовательно, ме­диана равна 5.

Медианы совокупностей из 12 рангов, соответствующих определен­ным проектам, приведены в предпоследней строке таблицы 2. Итоговое упо­рядочение по методу медиан приведено в последней строке таблицы. Ранжи­ровка (то есть упорядочение - итоговое мнение комиссии экспертов) по ме­дианам имеет вид:

D < {С, B}<F<A<G<H<E. (2)

Поскольку проекты С и В имеют одинаковые медианы баллов, то по рассматриваемому методу ранжирования они эквивалентны, а потому объе­динены в группу (кластер), то есть с точки зрения математической статисти­ки ранжировка (2) имеет одну связь.

Сравнение ранжировок (1) и (2) показывает их близость (похожесть). Можно принять, что проекты С, В, F упорядочены как С < В < F, но из-за по­грешностей экспертных оценок в одном методе признаны равноценными проекты В и F (ранжировка (1)), а в другом - проекты С и В (ранжировка (2)). Существенным является только расхождение, касающееся упорядоче­ния проектов Н и Е: в ранжировке (1) Е < Н, а в ранжировке (2), наоборот, Н < Е. Однако эти проекты наименее привлекательные из восьми рассматри­ваемых, и при выборе наиболее привлекательных проектов для дальнейшего обсуждения и использования это расхождение несущественно.

Рассмотренный пример демонстрирует сходство и различие ранжиро­вок, полученных по методу средних арифметических рангов и по методу ме­диан, а также пользу их совместного применения.

Варианты заданий

Необходимо самостоятельно выбрать объекты для сравнения, смоделировать опрос экспертов, составить таблицу рангов по привлекательности некоторого товара/ресурса/проекта. Затем провести анализ представленных данных, используя метод средних арифметических рангов и метод медианных рангов. Дать обосно­ванное расчетами заключение о выборе наиболее перспективного товара/ресурса/проекта.

Учебное издание

Поиск по сайту: