Построение шкал методом экспертных оценок

Один из наиболее известных методов построения шкал в социологии основан на обработке субъективных суждений экспертов (судей). Измерение в этом случае разбивается на два этапа: построение шкалы, т. е. построе­ние шкальных весов признаков, и оценивание респондентов по этим шкалам.

Существует несколько методов определения шкальных весов признаков. Остановимся на двух основных.

Метод парных сравнений. Предположим, что строится шкала для выяснения отношения к таким социальным ценностям, как «хорошие друзья», «здоровье», «успехи в работе», «материальная обеспе­ченность» и т. п. Обозначим для простоты эти ценности символами А₁, A₂, A₃..., А_k.

Сущность метода парных сравнений в том, /что экспертам пред­лагается произвести попарное сравнение объектов с тем, чтобы ус­тановить в каждой паре предпочтениe. Предпочтение может быть определено по критерию важности, значимости, привлекательности. Одним из главных требований к эксперименту является тщательная формулировка инструкции для экспертов, где суть Задания должна быть изложена просто и ясно.

Из символов образуем всевозможные пары: (А₁A₂), А₁А₃)и т. д. Всего получится k(k — 1)/2 парных комбинаций. Выделенные пары признаков предъявляются экспертам на отдельных карточках, расположенных в случайном порядке⁴.

Результаты опроса сводятся в таблицу по образцу табл. 23, в которой приводим гипотетические результаты опроса 30 экспертов по 5 признакам.

Таблица строится так. Если в паре признаков i, f выбран f (j> 1), то в клетку (if) заносится 1, если в паре выбран i, то — 0, за отсутствие предпочтения (i = j)заносится 0,5. Числа накопления в каждой клетке, полученные в результате такого структурирования, делят на общее число судей.

В математической модели, лежащей в основе построения шкалы методом парных сравнений, предполагается, что доля случаев предпочтения признака iпризнаку j(m_ij) подчиняется нормальному закону, т. е.

Следующий шаг в построении шкальных оценок заключается в том, чтобы обратить наблюдаемые отношения m_ij в Z_ijпо приведен­ному уравнению. Для этого уравнения существуют специальные таблицы, по которым для заданного m_ijможно найти соответствую­щее Z_ij. Воспользуемся ими⁵ и занесем результаты в табл. 24⁶.

Если Z_ij оказывается большим, чем 2,0, или меньшим 2,0, оно отвергается как нестабильное. Если ни одна из оценок не отверга­ется, то шкальная оценка признака i будет равна средней величи­не всех чисел в графе i табл. 24. Когда, некоторые j отвергаются, то в таблице ставится прочерк. Далее из данных столбца 2 вычитаются данные столбца 1, из 3 — 2 и т. д., а результат заносится в новую таблицу. При этом разность между двумя прочерками или: между значением и прочерком считается незначимой и в матрице ставится прочерк. Для преобразованной таблицы вновь вычисляются средние по столбцам, которые и отождествляются с весом признака измеряемого явления.

Нулевую точку устанавливают произвольным образом (см., на­пример, последнюю строку табл., 24) ⁷.

Метод равных интервалов. При большом числе признаков метод парных сравнений оказывается громоздким, поскольку эксперты должны рассмотреть каждую возможную пару признаков, а число таких пар быстро растет с ростом числа признаков⁸.

В таких случаях используются другие методы, из которых наи­большее применение получил метод равных интервалов. Основная идея и отличие его от метода парных сравнений заключается в том» что большой список суждений об изучаемой характеристике — при­думанных, отобранных из литературы и взятых из исследований других исследователей — оценивается экспертами, которые располагают признаки (суждения) в фиксированное число категорий (обычно равное 7,9 или 11), ранжированных по степени предпочтения. Интервалы между категориями должны быть субъективно равными, т. е. судящему должно казаться, что различия по степени предпочтения между суждениями любых двух смежных категорий равны.

Построение шкалы осуществляется в несколько этапов. На пер­вом этапе необходимо собрать несколько сот различных мнений, связанных с объектом измерения. В задачу исследователя входит получить всевозможные оттенки мнений по интересующему его воп­росу, причем формулировки должны выражать самые различные мнения.

Например, если исследуется отношение школьников к учебе, то могут быть высказаны такие суждения:

— Учусь, потому что хочу больше знать.

— Bee учатся и я учусь.

— Учусь, потому что интересно.

— Учиться заставляют близкие.

— Я и сам не знаю, зачем учусь.

— Это позволит исполнить мою мечту, овладеть желаемой профессией.

— Учусь, чтобы иметь возможность поступить в институт.

—Учеба позволит мне достигнуть материального благополучия (и. т. д.)

Из списка отбираются 100—200 суждений, которые по возмож­ности равномерно покрывают весь континуум установки: от мнений, выражающих крайнее положительное отношение к объекту установки, до мнений, выражающих крайнее отрицательное отношение к этому объекту. Особое, внимание уделяется формулировке нейтральных мнений. При отборе суждений необходимо руководствоваться следующими правилами:

а) суждения формулируются в утвердительной форме и, должны выражать сиюминутную психологическую установку испытуемого, не смешивая ее с отношением к тому же объекту в прошлом;

б) каждое суждение должно быть достаточно кратким, чтобы не утомлять опрашиваемых;

в) суждения должны быть сформулированы таким образом, что­бы их можно было принять или отвергнуть, и выражать они долж­ны одну, а не несколько идей; необходимо избегать утверждений, но отношению к которым большинство респондентов не имеют опре­деленного мнения;

г) суждения должны иметь такую форму, чтобы согласие или несогласие с ними указало на их отношение к объекту установки;

д) характер суждений не должен быть фактическим;

е) необходимо исключить утверждения, которые могут быть при­няты как теми, кто имеет отрицательное отношение к объекту уста­новки, так и теми, кто имеет положительную установку.

Следующая процедура состоит в отборе судей. Отбирается 50— 300 человек, которые сами по себе представляют широкий диапазон мнений по данному вопросу.

Каждое утверждение, отобранное по перечисленным выше кри­териям, заносится на отдельную карточку и затем предъявляется, труппе экспертов для упорядочения⁹. Экспертов просят независимо друг от друга разложить карточки на 7, 9 или 11 групп так, чтобы в последней группе были карточки с утверждениями, соответствую­щими максимально положительной установке индивида, высказав­шего эти утверждения;. в первую группу помещались карточки с утверждениями, соответствующими- максимально негативной уста­новке к объекту исследования; в среднюю группу помещались кар­точки с нейтральными утверждениями.

Необходимо обратить особое внимание экспертов на то, чтобы расстояния между любыми двумя соседними группами карточек были субъективно равными. В ходе процедуры эксперты должны руководствоваться не своим согласием или несогласием с утвержде­ниями, а оценкой того, какой направленности и интенсивности должна быть установка индивида к исследуемому объекту, если он высказал оцениваемое утверждение.

После того как судьи провели сортировку, необходимо оценить каждое суждение с точки зрения его соответствия шкале и устано­вить вес суждения на шкале. На этом этапе построения шкалы суждению, помещенному данным экспертом в некоторую категорию, приписывается число (оценка), совпадающая с номером этой кате­гории. Затем вычисляется медиана (Me) распределения оценок дан­ных всей группы экспертов для каждого суждения.

Пусть, например, распределение судей для какого-то определенного суждения задается таким образом.

Но кумулятивной кривой распределения находится медиана, • а также нижний и верхний квартили (Q_1/4,Q_3/4). По графику на рис. 12 для данного случая Мe = 1,7, Q_1/4 = 1,3 Q_{3/ 4} = 2,4. На осно­вании подобных расчетов каждому суждению приписывается вес, равный его медиане. В итоговую шкалу отбираются суждения, „ко­торые, во-первых, сравнительно равномерны по всей шкале (по Me), во-вторых, обладают сравнительно небольшим квартальным отклонением.

Это значит, что если встречаются два суждения с примерно оди­наковым весом, выбирается то, которое имеет наименьшее квар­тальное отклонение (такое, относительно которого эксперты наибо­лее единодушны).

В окончательном виде шкала содержит 15—30 суждений, каж­дое из которых имеет свой вес. Если необходимо с большей точ­ностью определить шкальные значения каждого высказывания, нужно провести вторую стадию более строгого оценивания. Обычно на этой стадии применяется метод парных сравнений.

Присуждение баллов респонденту. Когда с помощью одного из рассмотренных методов шкала построена, дальнейшая процедура заключается в том, чтобы присвоить каждому респонденту в массо­вом опросе балл. Для этого отобранные суждения в беспорядке та суются и заносятся в опросный лист. Веса суждений при этом не указы­ваются.

Обычно задание респонденту состоит в том, что его просят отметить те суж­дения, с которыми он согласен. При этом естественно ожидать, что он от­метит ограниченное число суждений.

За количественную оценку респон­дента берется медиана шкальных зна­чений отмеченных им суждений.

Кроме рассмотренных выше проце­дур построения шкал, существует ряд других методов обработки информации, полученной от экспертов. Экспертный метод применяется не только для построения социологических шкал, нои для решений множества других проблем в условиях дефицита информации, когда необходимо обращаться к мнению специалистов. Считается, что шкалы, построенные этим методом, принадлежат интервальному уровню измерения. Однако исчерпывающее доказа­тельство этого факта привести весьма трудно.

Поиск по сайту: