Анализ распределения судейских оценок для построения шкалы равных интервалов

Анализ распределения судейских оценок производится пу­тем исчисления медианы и отклонений от медианной точки.

Подсчитаем судейские оценки для одного из суждений по табл. 5. Имея такое распределение, построим график, где по вертикали отложим кумулятивный процент, а по горизонта­ли — шкалу из 11 интервалов. Кривая пересекает вертикали в точках, соответствующих медианной оценке для двух со­седних пунктов на шкале. Поэтому они оцениваются дробями: 3,5 или 6,5, но не 3 или 6 (рис. 7).

В районе 0 — позитивный полюс, 5 — нейтральный, 11 — негативный. Медианная оценка определяется по среднему пер­пендикуляру на базовую шкалу из 11 пунктов. Перпендику­ляр опущен из точки, разделяющей ранжированный ряд су­дейских решений ровно пополам. Цена суждения по медиане в нашем случае: S = 8,5.

Определим, насколько единогласны судьи в своих решени­ях об этом суждении по квартальному отклонению (Q):

Q=Va(Q3 - Q,);

или для нашего примера

Q=V2(9,3 - 7,3)=1,0.

(5) В итоговую шкалу отбираются суждения, получившие наиболее согласованные оценки. Например, если имеются три суждения со сходной ценой (скажем, от 8,1 до 9,2) и с квартальными отклонениями, равными 1,0; 1,3; 1,5, то в итоговую шкалу отбирается суждение с Q=l,0, как получившее наиболее согласованную оценку судей.

В окончательном виде шкала обычно содержит от 15 до 30 суждений, каждое из которых имеет "цену" или "вес", опре­деленный по медиане судейских решений.

Очевидно, что, коль скоро арбитраж 50 судей позволил най­ти пороги различения между суждениями, шкалу можно при­знать метрической шкалой равных интервалов с отсчетом от О.

(6) Для использования в массовом опросе все суждения тасуются как игральные карты. Опрашиваемые выражают согласие или несогласие с каждым из предложенных сужде­ний. Цена суждения в опросном листе не проставлена: веса всех суждений записаны в инструкции по обработке данных.

(7) Индивидуальный ранг опрошенного по шкале Тёрсто-уна определяется как медиана весов принятых им суждений. Например, в ответах некоего лица содержится всего четыре принятых суждения (все остальные им отвергнуты) с весами (S): 4,4; 4,8; 5,1; 5,6; 6,1. Тогда ранг индивида соответствует медианной оценке 5,1. При четном числе принятых пунктов медианный ранг можно принять как среднеарифметическое интервала, в котором лежит медиана.

(8) Ранговая позиция группы опрошенных определяется как среднеарифметическая рангов всей совокупности, состав­ляющей группу.

Обоснованность и устойчивость шкалы можно проверить с помощью уже известных нам приемов: использование незави­симого критерия, контроль по известной группе, повторное из­мерение с интервалом во времени.

Не обязательно начинать отбор суждений со столь боль­шого числа вариантов, как это делал Тёрстоун. Наша практика показывает, что 30—50 суждений вполне достаточны для су­дейского отбора, после которого определится десяток вполне приемлемых пунктов шкалы. Также не обязательно вовлекать в работу очень большое число судей: можно получить статис­тически устойчивые данные на 50—60 экспертах.

Снижение точности замера за счет снижения дробности шкалы существенно повышает ее надежность. Если предлагать судьям расположить суждения не в 11, а в 5 интервалов, ито­говая шкала будет более надежна, но менее точна. Выбор в пользу большей—меньшей точности зависит от предмета ис­следования и значимости гипотез, а также от того, насколько точно измеряются в нем другие переменные. Если большинство переменных измеряется по трехчленным и пятичленным шкалам, но только одна — по 11-членной шкале, и притом все переменные подлежат взаимной корреляции, в этом случае повышенная точность 11-членной шкалы — излишняя рос­кошь. Она не оправдывается логикой сопоставления с други­ми переменными.

Работа с экспертами, аналогичная описанной выше, широ­ко применяется и в других случаях, когда мы обращаемся к выборочной группе из массива обследуемых для того, чтобы глазами будущих испытуемых проверить соотносительную значимость оценок, придаваемых пунктам шкалы [232. С. 109—128].

5. ЧЕТЫРЕ ВАЖНЕЙШИХ ОГРАНИЧЕНИЯ КВАЛИФИКАЦИИ ПЕРВИЧНЫХ СОЦИАЛЬ­НЫХ ХАРАКТЕРИСТИК

Мы рассмотрели различные приемы перевода каче­ственных социальных признаков в их количественные выражения. Это очень ответственный момент процеду­ры социологических исследований.

Применение количественных методов и использова­ние статистических показателей взаимосвязи соци­альных явлений и процессов как бы возводит социоло­гию в ранг подлинной "строгой" науки. Создается впе­чатление математической точности выводов. Между тем квантификация сложных и далеко не однозначных социальных реалий накладывает немало ограничений на собственно математические операции с их измерения­ми. Математик работает с простыми однозначными аб­стракциями, в основе которых суждение "есть— нет" (т. е. наличие—отсутствие данного свойства). Социолог обязан постоянно помнить, что в действительности скрывается за величинами и символами, которыми мы оперируем.

В данном случае, мы обращаем внимание только на некоторые ограничения, связанные со специфическим видом формализации социальных данных, имея в виду наиболее распространенные и сравнительно простые приемы использования математической статистики в социологии.

Первое ограничение — соразмерность количествен­ных показателей, фиксированных разными шкалами в рамках одного исследования.

Суммируем сведения о возможностях операций с числами в описанных выше шкалах (схема 14)¹⁶

¹⁶ Здесь частично используется схема из работы С. С. Паповяпа [201. С. 60].

Более сильная шкала отличается от ближайшей к ней относительно слабой тем, что допускает более ши­рокий диапазон математических операций с числами. Все, что допустимо для слабой шкалы, допустимо и для сильной. Но не все, разрешимое для сильной, позволи­тельно для слабой шкалы. Поэтому смешение в анализе мерительных эталонов разного типа приводит к тому, что не используются возможности сильных шкал: в этом случае все операции с числами должны удовлетво­рять требованиям, предъявляемым к относительно сла­бым шкалам.

Конечно, это предостережение теряет смысл, если социолог не намерен статистически сопоставлять данные, измеренные разными шкалами, и рассматри­вает их независимо друг от друга, а также в случае иных способов анализа, например, путем множествен­ной классификации.

Второе общее ограничение связано с формой распре­деления величины фиксированных описанными выше шкалами, которое предполагается нормальным.

На рис. 8 показаны варианты нормального и ско­шенного распределений, где нормальное (эталонное) обозначено пунктиром, а скошенное — сплошной лини­ей. Нормальное гауссово распределение имеет вид сим­метричного колокола, у скошенного же по сравнению с нормальным в нашем случае поднят" правый и "опу­щен" левый конец (так называемые хвосты распределе­ния). Для нормального распределения оценки меры рас­сеяния совпадают, т. е. М=Ме=Мо, а в скошенном "хво­сты" распределения не влияют на среднюю арифмети­ческую (М, другое часто встречающееся обозначение средней арифметической — х), которая сдвигается в сторону его больших значений.

Возможны и бимодальные распределения, где обра­зуются своего рода горбы, а также растянутые, как бы сплющенные. Анализ таких видов распределений дол­жен быть особенно внимательным, так как в этом слу­чае непригодны обычные оценки меры рассеяния.

В случае существенно скошенных и тем более бимодаль­ных распределений можно:

(а) привести их к нормальному путем объединения града­ций шкалы, образующих длинный "хвост" распределения. На­пример, значения 8,9 и 10 десятибалльной шкалы растянуты потому, что в них очень мало численности. Тогда объединим эти градации и соответственно переоценим пункты шкалы;

(б) при бимодальном распределении разумно порядковую шкалу перевести в неупорядоченную.

Итак, второе ограничение — особенности одномер­ных (не говоря уже о более сложных) распределений. Оно заключается в том, что необходимо внимательно изучать форму распределения с точки зрения его укло­нения от нормального, симметричного.

Третье ограничение особенно неприятно. Оно состо­ит в том, что в социальных процессах нередки явления, измерение которых следует производить шкалами от­крытого типа, где полюс наибольших значений не фик­сирован и может принимать любую величину. ¹⁷

¹⁷ На это указал С. Д. Хайтун [277]. См. также работу Г. Кинмбл [110].

Например, оценки размеров заработной платы, дохо­дов в принципе должны давать нормальные и вполне допустимые скошенные распределения, так как есть со­циально и экономически обоснованные минимум и мак­симум зарплаты. Это — закрытая метрическая шкала оценок. То же самое можно сказать о численности де­тей в семье и т. п. явлениях.

Но при оценке многих субъективных состояний и по­казателей человеческой активности, например, результа­тов научной продуктивности ученых, предельно макси­мальные значения трудно предположить достоверно.

В негауссовых, в частности, так называемых распре­делениях Ципфа (рис. 9, в котором фиксированы лога­рифмы координат), на примере оценки числа публика­ций ученых в области химии [278. С. 146] видно, что до 70% из них имеют одну публикацию, около 25% — две, 8—10% — по три или четыре публикации, но только по 0,1 и 0,2% достигают продуктивности в 20—30 публикациях.

Это распределение никоим образом не описывается гауссовым "колоколом", В последнем случае числен­ность имеющих очень мало и очень много публикаций была бы примерно равной, а большинство ученых демон стрировали бы некоторое среднее число публикаций, на­пример, по 7—8 (в гауссовой статистике — это различные показатели центральной тенденции распределения).

Однако применение негауссовых статистик в соци­альных науках вообще, в социологии в частности, крайне затруднительно, так как невозможно использовать закры­тые шкалы, поскольку в большинстве случаев нет "есте­ственных" эталонов измерения (число публикаций — один из примеров такого "естественного" эталона).

А если нам приходится изобретать шкалу, то недо­пустимо оставлять открытым один из ее полюсов.

Четвертое ограничение связано с особой природой со­циальных процессов, в которых статистические и детерминистские закономерности находятся в динамическом единстве. В определенных аспектах и на определенных от­резках времени социальные процессы вполне предсказуемы. Но во многих случаях это далеко не так, особенно в условиях социальных преобразований, кризисов социальных систем. В нестабильных системах малые внешние или внутренние воз­действия способны вызвать неожиданное и неадекватное воздействию изменение.

Поэтому предлагается, используя для измерения первич­ных характеристик шкальные процедуры, прибегать к пост­роению стохастических динамических моделей на основе "сценариев" возможного развития определенных социаль­ных процессов [289]. Такие сценарии прогнозируются для разных временных интервалов, например начальной и завер­шающей стадий, которые могут быть существенно разными по составу участвующих факторов и по характеру связей между ними.

Итак, преимущества квантификации и использования жестких критериев надежности исходных данных небезус­ловны и могут обернуться упрощением, а то и искажением социальной реальности.¹⁸

¹⁸ На почве резкой критики жестко формальных процедур сбора и анализа данных в начале 70-х гг. в социологии возникло движение сторонников гибких или качественных методов с акцентом на понима­нии событий и жизни людей в большей мере, чем стремления к их строгому объяснению (см. гл. 6).

Адекватные в исследовании массо-видных социальных процессов, такие приемы утрачивают свои достоинства в изучении сознательно организованных действий или "отклоняющихся" явлений, тогда как нередко именно последние дают пищу для вдумчивого социального анализа. Без таких "уклонений" социальные процессы отоб­ражаются и виде схем, лишенных жизненных красок.

Строго формализованный количественный анализ име­ет свои пределы (298)¹⁹, за которыми могут быть утраче­ны качество, глубина и полнота осмысления действитель­ности.

¹⁹ "Пределы" — так называлась статья выдающегося отечественного социолога В. Н. Шубкина, который в 70-е гг. призвал к "гуманистической социологии", акцентирующей внимание на личностных смыслах социальных явлений и процессов.

Поэтому социолог обязан хорошо владеть многооб­разными гибкими методами изучения общественных проблем, т. е. уметь наблюдать, строить гипотезы на основе несистематизированных впечатлений и бесед, переходя за­тем к более систематизированной и упорядоченной их про­верке.

Практические советы

1. Приступая к разработке методов и проце­дур исследования, вначале продумайте, какие яв­ления, свойства и объекты реально варьируют по их интенсивности, распространенности, состояни­ям выраженности, а какие могут быть фиксиро­ваны лишь в качественных отображениях.

2. Определяя способ квантификации (тип шкалы), соизмеряйте его не только с природой объекта, но и с целями исследования и возможно­стями последующего количественного анализа: излишняя квантификация — напрасная растрата усилий, недостаточная — упущенные возможнос­ти более обстоятельного изучения объекта.

3. Не забывайте, что всегда лучше опираться на достоверные и менее детальные сведения, чем на детальные и малодостоверные: отсюда — ука­зания к выбору приемлемого типа шкал и дроб­ности их метрики.

4. Изящный статистический анализ полу­ченных данных будет вводить в заблуждение и нас самих и других, если ему не предшествовала добротная проверка надежности исходных изме­рений и регистрации фактов в целом.

5. Самое же главное состоит в том, что коли­чественный анализ не самоцель, но лишь сред­ство качественного: качественный анализ пред­шествует квантификации, качественным анали­зом завершается изучение количественных рас­пределений и связей.

Поиск по сайту: