 |
АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция
Особенности применения экспертного оценивания и основы методики экспертного прогнозирования
Практический опыт в области разработки самого широкого спектра прогнозов сложных социо-экономических систем с использованием методов обработки фактографической информации неизбежно приводит исследователей к заключению, что строго формализованные методы прогнозирования, в том числе экономико-статистические и методы математического моделирования, все чаще терпят фиаско и являются не состоятельными в целом ряде ситуаций. В общем, это является проявлением несоответствия базовых характеристик изучаемого объекта допускам и возможностям методологии прогнозного исследования, а также используемого инструментария прогнозирования, сколь бы технологически совершенно он не был реализован. Примером тому могут быть события на фондовых рынках высоких технологий, происходившие в 2001-2002гг. Предсказать его крах оказалось невозможно ни с помощью теории технического анализа финансовых рынков, инструментально поддерживаемым таким мощным инструментом, как технологии искусственного интеллекта, в частности нейросетевое моделирование; ни с помощью фундаментального анализа, подкрепленного самым широким арсеналом средств дескриптивного динамического моделирования с использованием предварительных эконометрических построений.
Имманентными характеристиками объектов социально-экономического прогнозирования на сегодняшний день являются такие отличительные черты как сложность изучаемых систем, а также хаотичность развития, как систем, так и их фонового окружения. В основе этих явлений лежат, прежде всего, неконтролируемый лавинообразный рост феномена научно-технического прогресса с одной стороны, а с другой чрезвычайная инерционность форм существования социальных, социально-экономических институтов человеческого общества. Следствием такого несоответствия становится общая тенденция к усложнению и бюрократизации структур управления. Традиционно преодоление возникающих проблем ищется в направлении привнесения в типовые структуры и процессы управления возможностей информационных технологий управления, резерв которых на первый взгляд кажется неисчерпаемым. Однако бездумное следование известному кибернетическому принципу достаточного разнообразия, называемому иногда законом Эшби, очень скоро приводит к еще большему разрастанию системы управления, ее усложнению и, что самое главное, к росту нестабильности функционирования управляющего объекта и как следствие - объекта управления в целом. В итоге на порядок вырастает стоимость ошибки системы управления, а стремление к тотальному контролю завершается еще большим ростом потенциального уровня энтропии в системе и ее окружении, и процесс вновь повторяется. Все выше сказанное приводит к необходимости частой констатации отсутствия у объектов изучения хоть сколь ни будь стабильных во времени структурных и поведенческих характеристик. Исчезновение свойства инерционности, а, следовательно, невозможность выделения эволюционных этапов в развитии систем ведет к отсутствию как достоверной представительной статистической базы по объектам исследования, так и обоснованной теории развития изучаемых систем, невозможности или экономической нецелесообразности удовлетворительного преодоления этих проблем в рамках сроков, приемлемых с точки зрения практики управления.
Кроме того, следует не забывать что часто, особенно на начальных стадиях прогнозных разработок либо в ходе рассмотрения долгосрочных перспектив развития исследователь сталкивается с тем, что вынужден иметь дело лишь с качественным описанием объекта, явления. Более того, невозможностью порой не только четкой, но и вообще какой-либо внятной идентификации объекта исследования. Таким образом, следует признать наличие существенных ограничений, накладываемых на допустимые методы прогнозирования со стороны способа описания объекта, способа представления информации по исследуемой системе.
И, наконец, не следует забывать о необходимости решения в этих условиях нетривиальных задач прогнозирования. Как правило, они требуют определения целей развития исследуемой системы, осуществления их упорядочивания и сравнения, выделения существенных факторов достижения целей, обоснования и формирования стратегий достижения целей и механизмов их реализации, учитывающих комплексную эффективность прогнозирования альтернатив развития и их следствий и т.п.
Выявление такого рода проблем прогнозирования, связанных с особенностями функционирования социально-экономических систем и их окружения подразумевает взаимодействие в ходе ведения соответствующих исследований объекта, по крайней мере, двух типов субъектов проведения работ. К первым будем относить лиц непосредственно заинтересованных в выявлении проблемной ситуации, требующей получения прогнозной информации, и ее разрешении, вторые – выступают собственно источниками информации по объекту. Субъект экспертизы первого рода - это, как правило, лицо, принимающее решение в ранге линейного или функционального руководителя соответствующего звена управления. В любом случае это те, кто по статусу признает выявленную проблему значимой, инициирует и обеспечивает проведение ее специальных исследований. Возглавить организацию проводимых исследований может либо непосредственно уже упомянутый руководитель, либо назначаемый им администратор. По существу, на практике, различие в функциях между постановщиком слабо формализуемой проблемы и администратором исследования весьма велико, однако для рассматриваемых в работе вопросов это не будет иметь существенного значения и терминологически в дальнейшем могут взаимозаменяться.
Второй субъект проведения изыскательских работ требуется непосредственно для описания и оценки будущих событий. Для чего привлекают специалистов, лиц компетентных в исследуемой проблеме, предметной области - экспертов. При этом используют специфические методы получения информации, ее формального описания и обработки. Соответствующие методы получили в литературе наименование методов экспертных оценок [3-6, 10, 12, 23], либо что, пожалуй, в большей мере отражает суть проводимых работ – экспертизы [21, 22].
Все выше перечисленные ситуации, требующие использования инструментария экспертного прогнозирования, сопряжены в подавляющем большинстве случаев с обоснованием прогнозных суждений в области долго и дальнесрочных прогнозов в условиях крайней неопределенности не только процессов и взаимодействий, но и главным образом самих объектов прогноза. Последние в свою очередь связанны, прежде всего, в основной своей массе с областями взаимодействия социо-экономических систем и феноменом научно-технического прогресса со всеми вытекающими последствиями, а также с формулировкой и обоснованием стратегических решений по поводу преобразования этих сфер человеческой деятельности. В этой связи становиться понятно, почему в соответствующей научной и учебно-образовательной зарубежной литературе часто для обозначения данного инструментария исследования используют синонимичные обозначения типа технологические методы прогнозирования, качественные методы прогнозирования либо просто - методы долгосрочного прогноза [27-30].
В дальнейшем, ведя рассуждения о специфике методов экспертного оценивания, в качестве наиболее характерных его черт, мы будем иметь в виду, прежде всего следующие моменты, существенно отличающие его от методов, основанных на обработке фактографической информации:
- генератором прогнозной информации по проблеме выступает непосредственно специалист в данной предметной области либо группа специалистов;
- информация по исследуемой проблеме представленная в качественной форме зачастую превалирует над ее количественными оценками.
Экспертиза (методы экспертного оценивания) в настоящее время может быть признана одним из немногих, а может быть и единственным инструментом практического обоснования и выработки прогнозов в условиях слабой определенности (либо неопределенности) и структурированности объектов прогнозирования и их окружения, прежде всего при долгосрочном периоде упреждения прогноза. Следует заметить, что иногда для выражения той же сущности используют синонимичные термины «методы обработки экспертных оценок» либо «экспертное оценивание», что в общем случае не является корректным соответствием. Понятие «экспертиза» является более емким и подразумевает под собой всю совокупность оценочно-аналитической деятельности, выполняемой с привлечением экспертов для оценки и/или анализа объектов экспертизы [22]. Термин «экспертное оценивание» относительно понятия «экспертиза» несет более частный характер и выражает способ получения информации относительно изучаемого объекта. Экспертиза как процедура выработки решений по получению прогнозной информации может включать в себя, в том числе и методы обработки экспертной информации. В дальнейшем под объектами экспертизы мы будем понимать объекты и процессы социально-экономического прогнозирования.
Методы, используемые в экспертизе, представляют собой совокупность научных методов анализа сложных проблем развития систем. Они предполагают организацию специальной процедуры получения информации, когда специалисты в области решаемой проблемы, используют количественные методы оценивания и сравнений, как при организации процедуры экспертной оценки, так и при обработке ее результатов. При этом в качестве первичного источника информации об объекте исследования выступает мнение отдельного лица, специалиста в данной области – эксперта. Полученное в результате обработки индивидуальных оценок экспертов их обобщенное мнение принимается как решение проблемы. Таким образом, основой методов экспертных оценок выступает интуитивно-логический анализ проблемы с последующей количественной оценкой суждений и формализованной процедурой обработкой результатов оценивания на основе использования экономико-математических методов [6].
Экспертное оценивание - это формализованная качественная или количественная оценка экспертами характеристик объектов применения метода экспертных оценок с возможным последующим сравнением исследуемых объектов по соответствующим характеристикам.
Область применения экспертного оценивания в настоящее время весьма широка и, безусловно, имеет четкую тенденцию к дальнейшему увеличению. Любая попытка перечисления конкретных приложений данных методов вряд ли будет полным. Однако имеет смысл обозначить наиболее характерные постановки типовых задач управления, связанные с прогнозированием развития систем и требующие использования в ходе своего решения инструментария экспертного оценивания. В качестве такого рода задач можно выделить следующие смысловые постановки:
- определение качественно или количественно идентифицируемых ожидаемых событий в соответствующей предметной области с возможной оценкой вероятности их появления;
- определение наиболее вероятного времени наступления события;
- определение целей и задач развития и управления объектом исследования с их возможным упорядочиванием по степени приоритетности;
- определение альтернативных вариантов решения задач, стратегий реализации, с возможной оценкой их предпочтительности;
- определение альтернативных вариантов распределения ограниченных ресурсов с целью достижения поставленных задач с возможной оценкой их предпочтительности.
Все множество формализуемых или слабо формализуемых проблем социально-экономического прогнозирования, решаемых методами экспертного оценивания, принято разделять на два класса, в зависимости от принятия гипотезы относительно когнитивных свойств генератора прогнозной информации относительно изучаемой области прогнозирования.
К первому классу относят проблемы, в отношении которых у эксперта уже существуют достаточно четкие и устойчивые представления, так называемый «достаточный информационный потенциал» проблемы [6, с.11]. Их специфика может, например, заключаться в качественной постановке проблемы, наличию многовариантности или многокритериальности и т.п. Извлечение прогнозной информации относительно такого рода ситуаций сводится обычно лишь к стандартному применению процедур экспертного оценивания, а основные задачи, которые в данном случае приходится решать при использовании методов экспертных оценок, состоят в поиске экспертов и правильной организации процедуры экспертизы. Основной принцип, в рамках которого проводятся такого рода оценки – представление об эксперте, как априорно эффективном генераторе прогнозной информации в заданной предметной области. Данное предположение подразумевает выполнение следующих гипотез:
- эксперт обладает обширной и разносторонней информацией по исследуемому вопросу, которую он может рационально обрабатывать, т.е. он может рассматриваться как совершенный «информационный измеритель», допускающий лишь небольшие погрешности в своих оценках;
- все привлекаемые к экспертизе эксперты в среднем обладают одинаковыми возможностями по эффективной генерации прогнозной информации относительно заданного объекта прогноза, т.е. в этом смысле за множеством экспертов признается свойство однородности;
- усредненное мнение группы экспертов соответствует в общем случае истинному значению оцениваемых параметров объекта экспертизы.
Признание аналитиками экспертизы данных гипотез истинными, делает возможным использовать в качестве обоснования базовых методов извлечения и обработки экспертной информации результаты теории измерений и математической статистики. Примерами задач первого класса могут быть названы, например, проблемы предсказания исхода президентских выборов, самый широкий круг проблем в области маркетингового анализа и прогноза, выявление и прогноз типологии социального поведения и т.д.
Ко второму классу проблем относят ситуации, в отношении которых нет достаточного информационного потенциала, т.е. эксперт не может в общем случае признаваться совершенным информационным носителем. К ним относятся, как правило, проблемы, возникающие при решении большинства задач долгосрочного прогнозирования или экспресс-анализу чрезвычайных ситуаций. Обработка мнений экспертов для получения обобщенных оценок в данном случае не состоит в усреднении индивидуальных оценок, так как может оказаться, что мнение какого-либо эксперта, плохо сочетающееся со «среднеарифметическим» мнением, в последующем и окажется истинным. Поэтому важнейшую роль здесь приобретают эвристические процедуры, явно учитывающие качественные характеристики привлекаемых к работе экспертов. При решении проблем второго класса особое внимание уделяется тщательному обоснованию отбора экспертов, а процедуры извлечения и методы обработки экспертной информации, как правило, явно или опосредованно учитывают частные характеристики «качества» эксперта. В качестве проблем прогнозирования второго класса можно назвать определение стратегических целей и задач макро и микро экономического развития, выявление альтернативных путей развития в науке, технике и технологиях, различного рода долгосрочные предсказания социально-экономических мутаций и т.п.
Методы проведения экспертиз часто используются не только в качестве одного из возможных инструментов прогнозирования развития сложных систем, но и как способ обоснования тех или иных управленческих решений. Поэтому следует отдельно отметить разницу в понимании использования терминологии экспертного оценивания с целью проведения прогнозных исследований и обоснования принимаемых решений в практике управления сложными социально-экономическими системами. Говоря о прогнозе на основе методов экспертного оценивания, мы будем
a) в любом случае исходить из понимания того, что источником (измерителем) первичной информации об объекте оценки является сам эксперт, его субъективное мнение и суждения;
b) в связи с п.а) результат индивидуального оценивания всегда носит окончательную форму и вероятностный характер, имеется ввиду, что постановщика проблемы в этом случае не интересует внутренняя мотивировка и механизм принятия решения индивидуумом, если за ним признается право называться экспертом.
Результаты осуществления прогнозных расчетов методами экспертного оценивания могут служить основой для обоснования и выработки управленческих решений, которые по сути своей в окончательном варианте не могут не принять вид императива, предлагаемого к исполнению в директивном или индикативном порядке.
Организационно-практическое содержание прогнозной экспертизы представляет собой четко регламентированную процедуру, в рамках которой осуществляется конкретная реализация оценочно-аналитических исследований объекта прогнозирования, а результатом – экспертное заключение. Каждый ее этап призван решить некий логически и функционально законченный блок действий. Типовая последовательность этапов процедуры экспертного прогнозирования представлена на рис.8. Эти этапы носят общий характер и осуществляются при использовании любых разновидностей метода экспертных оценок на основе обработки суждений индивидуального эксперта либо группы экспертов. Причем, как правило, индивидуальное экспертное оценивание используется лишь в очень специальных условиях, например чрезвычайных ситуациях, т.е. режиме нехватки времени, либо чрезвычайной специфичности исследуемой проблемы, т.е. элементарной невозможности найти достаточного числа специалистов по соответствующей проблеме. В дальнейшем мы будем рассматривать случаи выработки суждений группой специалистов, исключающие такого рода чрезвычайности.
Обычно при проведении экспертизы принято выделять несколько взаимосвязанных основных этапов, внутри которых также возможно выделение логически завершенных шагов. Кратко остановимся на их содержании.
Основанием для начала действий по проведению процедуры экспертного прогнозирования является выявление и осознание менеджментом субъекта управления необходимости снижения рисков неопределенности развития объекта прогноза, а также понимание невозможности в силу каких-либо обстоятельств эффективного применения альтернативных инструментов прогнозирования. В этом случае инициируется экспертное исследование.
На первом - организационном этапе, создается группа управления (администрирования) экспертизы, приказом назначается ее руководитель (главный администратор, менеджер экспертизы) и разрабатывается руководящий документ экспертизы. В нем определяются цели и задачи экспертизы, обосновывается ее необходимость; определяются основные этапы и порядок осуществления экспертизы, сроки выполнения отдельных работ и экспертизы в целом; указываются состав, задачи, обязанности и права группы управления; определяются источники финансового и материального обеспечения работ. В задачу группы управления входит решение всех
Не удовлетворяет
 | |||
 |
Рис 8. Типовая последовательность этапов процедуры экспертного прогнозирования.
вопросов, оговоренных руководящим документом. Результатом данного этапа является документ «Задание на экспертизу». Для того чтобы приступить к последующим шагам экспертного оценивания созданная группа администрирования должна еще раз уточнить цель, задачи, возможные масштабы проведения исследования, выявить круг смежных проблем и соответствующих им специалистов, предварительно определяются оценочные критерии фиксации эффективности проводимых прогностических исследований.
На втором этапе, этапе формирования экспертной группы, осуществляются подбор и формирование состава экспертной группы. Общее требование, налагаемое на работу по подбору экспертов, - обеспечение эффективного достижения поставленных целей и решения намечаемых задач прогнозирования. Оно означает обеспечение высокой достоверности экспертного оценивания при заданном уровне затрат на него и в отведенные сроки. Достоверность экспертного оценивания, в том числе тем выше, чем выше индивидуальные качественные характеристики привлекаемых к экспертизе специалистов, чем четче сбалансирован состав экспертной комиссии, как по численности, так и по представительности в ней специалистов из различных сопряженных объекту исследования областей. В общем случае на этом этапе проведения экспертизы решаются следующие задачи.
1. Формирование предварительного исходного списка специалистов потенциально пригодных для участия в экспертизе в качестве экспертов.
2. Обоснование и формирование методики определения качественного и количественного состава экспертной группы.
3. Проведение процедуры оценки количественного и качественного отбора членов экспертной группы.
В результате выполнения второго этапа на основе уяснения решаемой проблемы и определения круга деятельности, связанной с проблемой, устанавливают количественный и долевой состав экспертной группы.
Параллельно со вторым этапом работ администрация приступает к деятельности по методическому обеспечению непосредственно экспертного оценивания.
Третий этап - этап обоснования и определения технологии и формы извлечения информации из экспертов. Он посвящен разработке способа организации и методики проведения опроса экспертов.
Для начала устанавливается способ описания объекта прогнозирования, а также способы измерения его характеристик, т.е. формы представления экспертных оценок, по сути языка, на котором эксперту предлагается говорить об объекте прогноза.
Следующие действия администрации связаны с определением технологии извлечения знаний из экспертов. Экспертные процедуры и методы извлечения знаний из экспертов в практике экспертного оценивания весьма разнообразны, с некоторой степенью условности их обобщенно можно представить в виде пяти основных групп [21].
К первой группе относят так называемые «методы психологической активизации творчества», сюда относят метод «мозговой атаки» и его многочисленные модификации: мозгового штурма, мозговой осады, обратного штурма, массовая мозговая атака и т.д., а также метод фокальных объектов с его модификациями. Общая направленность этих методов заключается в тотальном стимулировании самого широкого диапазона поиска ответов на стоящие вопросы.
Во вторую группу методов относят процедуры, позволяющие не только увеличить, но, прежде всего, систематизировать перебор возможных альтернатив развития ситуации, исключая возврат к ранее высказанным версиям и решениям. Эти методы образуют так называемую группу систематизации поиска. К ним могут быть отнесены: морфологический анализ с его модификациями, списки контрольных вопросов и т.п.
Третья группа включает модели информационного взаимодействия групп экспертов, как правило, с наложением ограничений на число итераций оценивания (обычно не превышает четырех), а также возможным запретом прямого взаимодействия членов экспертной группы. К наиболее известным многотуровым процедурам этого класса можно отнести метод «Дельфи» и все его модификации. К безусловным достоинствам модификаций метода «Дельфи» следует отнести возможность повышения качества групповой оценки, заложенную непосредственно в механизм процедуры генерации прогнозной информации.
В четвертый класс можно отнести процедуры, реализующие с той или иной степенью успешности принцип системного подхода в экспертном прогнозе. Чаще всего в этой связи применяются методы построения экспертных сценариев, а также метод ситуационного анализа, их многочисленные модификации. К существенным преимуществам этих подходов можно отнести то, что наряду с отработкой принципов пассивности прогноза, исследователи-эксперты одновременно вырабатывают тактику и/или стратегию его корректировки, тем самым, реализуя активный прогноз. Важным представляется также как правило, его комплексность. Отмеченные достоинства как следствие предполагают достаточную трудоемкость в построениях, а также особые качественные требования к составу экспертной группы, а также ее обеспечивающей поддержке.
К последней группе методов можно отнести все остальные процедуры комплексного решения проблем развития сложных систем с использованием экспертных оценок, а также широким применением алгоритмических и/или графических процедур упорядочивания поиска удовлетворительных альтернатив прогноза, являющихся собственно ядром метода. В качестве примеров данных подходов можно привести экспертное прогнозирование с использованием процедур ПАТТЕРН, ПРОФАЙЛ, КВЕСТ, МАИ, а также метод прогнозного графа, анализ на проблемных сетях, метод решающих матриц, метод перекрестного воздействия и многие другие.
Все выше перечисленные группы методов извлечения информации в той или иной степени реализуют два основных принципа поиска новых знаний: а) увеличение хаотичности поиска, б) систематизация переборов вариантов решений.
Кроме определения общей методологии извлечения знаний, на этом этапе экспертизы уточняется и ряд специальных моментов, связанных с практикой технологии, формы организации и проведения экспертизы:
- место и время работы экспертной группы;
- способ предъявления вопросов экспертам (очный, заочный, устный, письменный);
- способ постановки вопросов (открытые, т.е. свободные по форме, или закрытые, т.е. с набором возможных ответов; прямые, косвенные и т.п.);
- порядок фиксации и сбора результатов опроса;
- дополнительное информационное обеспечение работы экспертов и процедуры доступа к нему и т.п.
Таким образом, формально на этом этапе проведения экспертизы в общем случае решаются следующие основные задачи в соответствии с рис7.
1. Обоснование шкалы измерения объекта прогноза и/или его свойств.
2. Обоснование и разработка организационных процедур и/или методов проведения экспертного опроса.
3. Разработка документальной регламентации проведения экспертного опроса.
При успешном окончании работ, предусматриваемых на третьем этапе, можно приступать к реализации задач четвертого этапа экспертного прогнозирования – этапа разработки методики и способа организации обработки результатов экспертного опроса. Цель обработки - получение обобщенных данных и новой информации, содержащейся в явной либо скрытой форме в экспертных оценках. На основе результатов обработки формируется вероятностное суждение о перспективах развития объекта. Исходным моментом для обоснования ядра методики обработки результатов экспертизы – метода обработки данных, является способ представления данных, т.е. шкала оценивания объекта прогноза. Именно ее свойства позволяют специалистам, обрабатывающим экспертные оценки, однозначно определится в способе решения двух основных задач данного этапа.
1. Обоснование формы и метода получения итоговых обобщенных результатов экспертизы;
2. Обоснование формы и метода оценки работы экспертов при осуществлении опроса для учета степени надежности и согласованности мнений экспертов, а, следовательно, качества полученного группового суждения.
Содержанием пятого этапа экспертизы является непосредственное проведение экспертного опроса, а результатом его в большинстве случаев является получение совокупности индивидуальных оценок объекта прогноза экспертами группы.
На шестом шаге процедуры экспертного оценивания осуществляется обработка результатов пятого этапа в соответствии с методиками обработки, полученными на четвертом этапе. Результатом его является окончательный вариант прогноза развития объекта исследования как результат обработки мнений всех членов группы с указанием характеристик качества полученных оценок. Далее группа управления экспертизой анализирует и интерпретирует полученный результат. В ходе чего итог осуществления экспертного оценивания признается либо приемлемым с точки зрения набора критериев оценки качества проведения экспертизы, либо нет. В первом случае происходит утверждение полученного прогноза с его оформлением в виде отчета по экспертизе. Во втором - исследуются источники неудачи, а также способы улучшения качественных показателей эффективности оценки, как правило, с возвратом к начальным этапам процедуры оценивания.
В заключение отметим, что практически на всех шагах обобщенной процедуры экспертного оценивания, представленного на рис.1, в той или иной мере используются количественные методы анализа и обработки информации об объектах либо субъектах прогнозной экспертизы. Фундамент специальных знаний, на которых строятся эти методы, достаточно широк. Это, прежде всего – математика, математическая статистика, теория измерений, системный анализ и др. В этой связи определим круг вопросов наиболее важных с точки зрения специалистов в области экономико-математического моделирования и требующих дальнейшего более детального дополнительного рассмотрения. Это количественные методы и процедуры:
- обоснования качественного и количественного состава экспертной группы;
- обоснования способов оценки объекта экспертизы, т.е. видов экспертных оценок;
- выбора метода обработки экспертной информации;
- разработки и анализа критериев оценки качества групповой экспертизы.
Остановимся подробнее на изложении существа указанного перечня процедур, требующих количественного обоснования решений принимаемых в ходе их реализации.
Поиск по сайту: