Глава 10. Разработка анкеты и форм для записи результатов наблюдения 6 страница

наблюдения, должны составлять единое целое со всеми решениями в рамках исследователь-

ского проекта [5].

Определение генеральной совокупности

Осуществление процесса выбор*

Рис. 11.1. Процесс выборочного наблюдения

Определение изучаемой совокупности

Составление плана выборочного наблюдения начинается с определения изучаемой совокуп-

ности (target population). Изучаемая совокупность— это совокупность элементов или объектов,

обладающих информацией, которую желает получить исследователь, и о которой нужно сде-

лать заключение. Изучаемая совокупность должна быть точно определена. Исследование, в ко-

тором изучаемая совокупность определена неточно, в лучшем случае неэффективно, а в худ-

шем — послужит основой для неправильных выводов. Определение изучаемой совокупности

предполагает трансформацию формулировки проблемы маркетингового исследования в четкое

определение того, кого включать и кого не включать в выборку.

Изучаемая, целевая совокупность (target population)

Совокупность элементов или объектов, обладающих информацией, которую желает полу-

чить исследователь, и о которой нужно сделать заключение.

Изучаемая совокупность должна быть определена с точки зрения элементов, единиц вы-

борки, территории и времени. Элемент (element) — это объект, о котором или от которого

исследователь хочет получить информацию. При проведении опросов элементами обычно

являются респонденты. Единица выборки (sampling unit) — это элемент или единица наблю-

дения, содержащая элемент, который подлежит отбору на определенной стадии процесса

выборки. Предположим, компания Revlon желает определить потребительский спрос на но-

вую серию помады и хочет сформировать выборку женщин старше 18 лет. В случае непосред-

412 Часть II. Разработка плана исследования

ственного отбора женщин старше 18 лет единицы выборки совпадут с элементами изучаемой

совокупности. В противном случае элементами выборки могут быть семьи. Это означает, что

сначала отбирают семьи, а затем в каждой выбранной семье опрашивают женщин старше 18

лет. В данном случае единицы выборки и элементы совокупности не совпадут. Под террито-

рией понимают географические границы, а рассматриваемый период времени ограничен

временными границами. Воспользуемся в качестве примера исследованием постоянных по-

купателей универсального магазина.

Элементы совокупности (element)

Объекты, обладающие информацией, необходимой для исследователя, и о которых мар-

кетологу следует сделать умозаключения.

Единица выборки (sampling unit)

Базовая единица, содержащая элементы генеральной совокупности, подлежащие отбору.

Определение целевой совокупности может оказаться не таким простым, как показано в

этом примере. Рассмотрим проект маркетингового исследования отношения потребителей к

новой марке мужского одеколона. Кого включать в изучаемую совокупность? Всех мужчин?

Мужчин, которые пользовались одеколоном последний месяц? Мужчин в возрасте 17 лет и

старше? Учитывая, что некоторые женщины покупают одеколон для своих мужей, следует ли

включать их в выборку? Необходимо ответить на эти и подобные вопросы до того, как будет

определена соответствующая изучаемая совокупность [6].

: сквозной ПРИМЕР. ВЫБОР УЖ

I Изучаемая совокупность

Изучаемую совокупность для выборочного наблюдения постоянных покупателей универ-

сального магазина можно определить следующим образом.

Элементы: главы семей (мужчины или женщины), чаще всего совершающие покупки в

универсальных магазинах.

Единицы выборки: семьи

Территория; центральная часть Атланты

Время: 1999 год.

Определение основы выборочного наблюдения

Основа выборочного наблюдения (sampling frame) представляет собой элементы, из которых

состоит изучаемая совокупность. Обычно это список элементов или перечень инструкций для

определения изучаемой совокупности. Примерами основы выборочного наблюдения могут

служить телефонные справочники, справочники ассоциаций, содержащие перечень компа-

ний, занятых в данной отрасли, список адресатов, приобретенный у коммерческой организа-

ции, а также городская адресная книга или карта [7]. Если исследователь не может составить

подобный перечень, следует, по крайней мере, установить правила для отбора изучаемой сово-

купности, например процедуру случайного набора номеров при проведении опроса по телефо-

ну (см. главу 6).

Основа выборочного наблюдения (sampling frame)

Отображение элементов, из которых состоит изучаемая совокупность. Данное отображение

представляет собой их список или перечень инструкций для определения изучаемой сово-

купности.

Зачастую можно получить или составить перечень элементов совокупности, но в этом перечне

будут пропущены некоторые элементы, или наоборот, включены элементы, не относящиеся к

Глава 11. Выборка: планирование и проведение 413

данной совокупности. Следовательно, использование такого перечня приведет к ошибке форми-

рования основы выборочного наблюдения, что подробно рассматривалось в главе 3 [8].

Иногда различие между популяцией и основой выборки столь незначительно, что им мож-

но пренебречь. Однако в большинстве случаев исследователю нужно выявить и устранить

ошибки формирования основы выборочного наблюдения. Это можно сделать, по меньшей ме-

ре, тремя способами. Первый способ заключается в пересмотре основы выборки. Если в этом

качестве использовался телефонный справочник, совокупность семей можно пересмотреть по-

сле проверки достоверности информации, приведенной в телефонном справочнике данного

района. Хотя этот метод очень прост, он все же предохраняет исследователя от заблуждений,

связанных с реальным составом исследуемой совокупности [9].

Второй способ — устранение ошибки основы выборки после тщательного отбора респон-

дентов на этапе сбора данных. Респондентов можно отбирать с учетом демографических харак-

теристик, осведомленности, использования товара и других характеристик, чтобы обеспечить

их соответствие критерию отбора изучаемой совокупности. Тщательный отбор позволяет ис-

ключить из основы выборочного наблюдения неподходящие элементы, но он не учитывает

элементы, которые не были включены.

Еще один способ — откорректировать собранные данные с помощью системы весовых ко-

эффициентов, чтобы нейтрализовать действие ошибки формирования основы выборочного

наблюдения. Этот способ рассматривается в главе 12, а также в главе 14. Независимо от способа,

избранного маркетологом, важно выявить все ошибки основы выборки, чтобы избежать не-

правильных выводов относительно генеральной совокупности.

Определение метода проведения отбора элементов

Выбор метода проведения отбора элементов совокупности связан с принятием некоторых

сопутствующих решений. Исследователь должен сделать выбор между байесовым и традици-

онным подходом к отбору, повторной и бесповторной выборкой, а также вероятностным и де-

терминированным выборочным методом.

В соответствии с байесовым подходом (Bayesian approach) элементы выбираются последо-

вательно. После добавления каждого элемента в выборку, собирается информация, рассчи-

тываются статистические данные по выборке и определяются затраты на проведение иссле-

дования. Согласно байесовому подходу, собирается детальная информация о параметрах ге-

неральной совокупности, полученная в результате предыдущих исследований, а также о

затратах и возможных последствиях, связанных с принятием неправильных решений. Этот

метод очень хорош в теории. Однако он не нашел широкого применения в маркетинговых

исследованиях, так как большая часть необходимой информации относительно затрат и воз-

можных последствий недоступна. В соответствии с традиционным подходом к отбору эле-

ментов, выборка полностью формируется до того, как начинается сбор информации. По-

скольку традиционный метод наиболее распространенный, он принят за основу при напи-

сании следующих разделов.

Байесов подход (Bayesian approach)

Метод отбора элементов, в соответствии с которым элементы выбираются последовательно.

Согласно байесовому подходу, собирается детальная информация о параметрах совокупно-

сти, полученная в результате предыдущих исследований, а также о затратах и возможных

последствиях, связанных с принятием неправильных решений.

При повторной выборке (sampling with replacement) исследователь выбирает элемент из ос-

новы выборки и получает необходимую информацию. Затем элемент возвращают в основу вы-

борки; элемент можно неоднократно включать в выборку, При бесповторной выборке (sampling

without replacement) элемент генеральной совокупности, выбранный для включения в выборку,

удаляется из основы выборки и, следовательно, не может использоваться вновь. Расчет стати-

стических данных при использовании этих двух методов немного отличается, но статистиче-

ские выводы похожи, если основа выборки намного больше конечного объема выборки. Сле-

414 Часть II. Разработка плана исследования

довательно, различия важно учитывать только тогда, когда основа выборочного наблюдения

ненамного больше объема выборки.

Повторная выборка (sampling with replacement)

Метод выборки, согласно которому элемент совокупности можно неоднократно включать в

выборку.

Бесповторная выборка (sampling without replacement)

Метод выборки, согласно которому элемент совокупности нельзя включать в выборку

больше одного раза.

Наиболее важное решение, связанное с отбором элементов для формирования выборки, —

это выбор между вероятностным и детерминированным методом выборки. Учитывая его важ-

ность, он детально рассматривается в этой главе.

Если единица выборки и элемент целевой совокупности различны, необходимо точно оп-

ределить, по какому принципу следует отбирать элементы из единицы выборки. При индиви-

дуальном опросе на дому или по телефону определение адреса или номера телефона может

оказаться недостаточным. Например, должен ли участвовать в обследовании только человек,

отвечающий на звонок в дверь или по телефону, или еще кто-то из домашних? Зачастую другие

члены семьи также соответствуют критериям выборки. Например, в исследовании о семейном

досуге участвовать могут как мужчины, так и женщины — главы семьи. При использовании

вероятностного выборочного метода методом случайного отбора следует выбрать одного рес-

пондента из каждой семьи. Самый простой способ случайного отбора — метод следующего дня

рождения. Интервьюер спрашивает, кто из членов семьи, подходящих для участия в обследо-

вании, следующим празднует день рождения, и включает этого человека в выборку.

Определение объема выборки

Объем выборки (sample size) — это количество элементов совокупности, которые нужно изу-

чить. Определение объема выборки представляет собой сложный процесс, затрагивающий ана-

лиз ряда качественных и количественных факторов. Качественные факторы рассматриваются в

этой главе, а количественные— в главе 12. Назовем важные качественные факторы, опреде-

ляющие объем выборки: важность принимаемого решения, характер исследования, количество

переменных, характер анализа, объем выборки в аналогичных исследованиях, коэффициент

охвата, коэффициент завершенности, а также ограниченность ресурсов.

Объем выборки (sample size)

Количество элементов совокупности, которые нужно изучить.

Как правило, для принятия важных решений необходима детальная, максимально точная

информация. Ее получение предусматривает создание больших выборок, но при увеличении

объема выборки возрастает и стоимость каждой дополнительной единицы информации. О сте-

пени точности говорит среднеквадратичное отклонение от среднего значения, которое обратно

пропорционально квадратному корню объема выборки. Чем больше выборка, тем меньшим

будет повышение точности при увеличении объема выборки на одну единицу.

На величину объема выборки влияет также характер исследования. В поисковых исследова-

ниях, изучающих качественные характеристики, объем выборки, как правило, невелик. Для ис-

следований, предусматривающих статистическое заключение, таких как дескриптивные, необхо-

дим больший объем выборки. Кроме того, большие выборки нужны, когда информация собира-

ется с учетом большого количества переменных. Большой объем выборки позволяет снизить

общий эффект от ошибок выборки по всем переменным. Представление о. иолом и большом объеме

можно получить, ознакомившись с объемами выборки, представленными в табл. 11.2.

Большой объем выборки необходим при проведении углубленного анализа данных с ис-

пользованием разнообразных методов многомерного статистического анализа. Это же касается

Глава 11. Выборка: планирование и проведение 415

данных, которые анализируются с особой точностью. Таким образом, для анализа данных на

уровне сегмента или подгруппы потребуется больший объем выборки, чем для анализа обшей

или генеральной совокупности.

На величину объема выборки также влияет типичный объем выборок, используемых в ана-

логичных исследованиях. Табл. 11.2 дает представление об объемах выборок, используемых в

различных маркетинговых исследованиях. Эти величины установлены опытным путем и могут

использоваться в качестве ориентировочных данных, особенно при детерминированных мето-

дах формирования выборки.

Наконец, принимая решения об объеме выборки, нужно учитывать фактор ограниченно-

сти ресурсов. В любом исследовательском проекте существуют временные и финансовые огра-

ничения. Еще одним ограничением является наличие квалифицированных специалистов по

сбору информации. При определении объема выборки следует учитывать степень охвата под-

ходящих респондентов, а также коэффициент завершенности, о чем рассказывается в главе 12.

I Таблица 11.2. Объемы выборок, используемых в маркетинговых исследован!

нвнинн^н^нннннвн

Вид исследования Минимальный объем Обычный диапазон

Исследование, цель которого — определить проблему (например, изу- 500 1000-2500

чение потенциала рынка)

Исследование, цель которого — решить проблему (например, опреде- 200 300-500

лить цену)

Тестирование товара 200 300-500

Пробный маркетинг 200 300-500

Теле- радио- и печатная реклама (в расчете на одно рекламное обьнв- 150 200-300

ленив, эффективность которого исследуется)

Аудит на пробном рынке 10 магазинов 10-20 магазинов

Фокус-группы 6 групп 10-15 групп

Проведение выборочного наблюдения

Для успешного проведения выборочного наблюдения необходимо досконально опреде-

лить его план с точки зрения совокупности, инструментария, единиц, метода осуществле-

ния и объема выборки. Если единицами выборки являются семьи (домохозяйства), необхо-

димо сформулировать рабочее понятие семьи. Следует описать процедуры для случаев, когда

в квартире никто не живет, и в случае повторных звонков респондентам, которых не было

дома. Каждое решение, предусмотренное планом выборочного наблюдения, должно подкре-

пляться соответствующей детальной информацией. В качестве примера рассмотрим опрос,

проведенный для Министерства туризма штата Флорида.

Пример. Выборочное наблюдение для Министерства туризма

Цель телефонного опроса, проводимого для Министерства туризма штата Флорида, ~-

это изучение поведения жителей штата, находящихся в туристических поездках. Семьи

стратифицировали по месту проживания на северный, центральный и южный район Фло-

риды. Для отбора этих семей использовали случайный компьютерный набор телефонных

номеров. Из каждой семьи выбирались кандидаты, соответствующие четырем критериям.

1. Возраст 25 лет или старше.

2. Проживает во Флориде как минимум 7 месяцев в году.

3. Прожил во Флориде по меньшей мере два года.

4. Получал водительские права по Флориде.

416 Часть II. Разработка плана исследования

Для отбора одного респондента из каждой семьи воспользовались методом случайных

чисел, чтобы получить представительную выборку из индивидуумов, отвечающих заданным

критериям. Перечислены все члены семьи, соответствующие четырем критериям, из них

выбран тот, кто следующим отпразднует свой день рождения. Для установления контакта с

этим человеком потребовался ряд повторных звонков. Определены следующие этапы фор-

мирования плана выборочного наблюдения.

1. Изучаемая совокупность: совершеннолетние, отвечающие четырем критериям (элемент

совокупности) в семье с работающим телефоном (единица выборки) в штате Флорида

(территория) в период проведения опроса (время).

2. Основа выборки: компьютерная программа, случайным образом генерирующая номера

телефонов.

3. Единица выборки: номера работающих телефонов.

4. Метод проведения выборочного наблюдения', стратифицированная выборка. Изучаемую со-

вокупность распределили по географическому признаку на три района Флориды; север-

ный, центральный и южный.

Объем выборки: 868.

Осуществление: поделите выборку на слои; воспользуйтесь компьютером для произ-

вольного набора телефонных номеров; перечислите всех членов семьи, соответст-

вующих четырем критериям; выберите одного члена семьи методом следующего

дня рождения [10].

МЕТОДЫ ВЫБОРКИ

Методы выборочного наблюдения или методы выборки делятся на две основные кате-

гории: детерминированные и вероятностные (рис. 11.2). Детерминированный метод выбор-

ки (nonprobability sampling) основан скорее на индивидуальной оценке исследователя, чем

на случайном отборе элементов выборки. Исследователь может произвольно или созна-

тельно решать, какие элементы включать в выборку. В результате проведения детермини-

рованной выборки можно получить детальную оценку характеристик совокупности. Од-

нако этот метод не позволяет объективно оценить точность результатов исследования. По-

скольку невозможно определить вероятность включения в выборку каждого отдельного

элемента, полученные результаты нельзя статистически распространять на всю совокуп-

ность. Чаще прибегает к следующим детерминированным методам: нерепрезентативная

выборка, поверхностная выборка, выборка по квотам и выборка по принципу снежного

кома (подробности — в следующем разделе).

Детерминированный метод выборки (попprobability sampling)

Метод выборки, в котором не применяется процедура случайного отбора элементов. Этот

метод в значительной степени основан на индивидуальных предпочтениях исследователя.

При использовании вероятностного метода выборки (probability sampling) единицы выборки

подбираются случайно. Вполне реально предварительно определить все возможные выборки

конкретного объема, которые можно получить из генеральной совокупности, а также вероят-

ность получения каждой выборки. Каждая потенциальная выборка не должна иметь одинако-

вую вероятность получения, но возможно установить вероятность получения любой конкрет-

ной выборки определенного размера. Для этого нужно не только точно определить изучаемую

совокупность, но и основные характеристики основы выборки. Так как элементы выбираются

произвольно, можно определить точность оценки исследуемых характеристик в каждой выбор-

ке. Можно рассчитать доверительные интервалы, в пределах которых с определенной достовер-

ностью получают истинные значения характеристик генеральной совокупности. Это позволяет

Глава 11. Выборка: планирование и проведение 417

исследователю сделать выводы или высказать предположения относительно изучаемой сово-

купности, из которой получена выборка. Классификация вероятностного метода выборки ос-

нована на использовании;

• элементарного или кластерного метода отбора;

• одинаковой или различной вероятности отбора единицы выборки;

• целостного или стратифицированного метода отбора;

• случайного или систематического метода отбора;

• одноступенчатой или многоступенчатой технологии.

Детерминированные

методы выборки

Вероятностные

методы выборки

Нерепреэентативная

выборка

Поверхностная

выборка

Квотная Выборка по принципу

"снежного кома"

Простая случайная Систематическая Стратифицированная Кластерная

выборке

Другие методы

выборки

I 1

Пропорциональная Непропорциональная

Рис. 11.2. Методы выборки

Вероятностный метод выборки (probability sampling)

Процедура проведения выборочного наблюдения, в соответствии с которой каждый элемент

совокупности имеет определенную вероятность включения в выборку.

Все возможные сочетания этих пяти аспектов нашли отражение в 32-х различных методах

проведения вероятностного отбора элементов совокупности. В этой книге подробно рассматри-

ваются методы простой случайной, систематической, стратифицированной и кластерной вы-

борки, а также кратко рассказывается о некоторых других методах. Однако сначала мы рассмот-

рим детерминированный метод выборки.

418 Часть II. Разработка плана исследования

ДЕТЕРМИНИРОВАННЫЙ МЕТОД ВЫБОРКИ

Нерепрезентативная выборка

Согласно нерепрезентативному методу выборки (convenience sampling), исследователи

стремятся создать выборку из удобных, доступных для отбора элементов. Отбор элементов

для включения в выборку проводится, главным образом, интервьюером. Иногда отбор рес-

пондентов для участия в исследовании основан на том, что они оказались в нужном месте и

в нужное время. Примером применения нерепрезентативной выборки может служить: опрос

студентов; опрос членов церковных групп и общественных организаций; опрос покупателей

торгового центра без предварительной квалификации респондентов; исследования в уни-

вермагах с использованием перечня счетов покупателей; отрывные анкеты в журналах и оп-

рос "прохожих на улице" [11].

Нерепрезентативная выборка (convenience sampling)

При использовании детерминированной выборки исследователи стремятся создать ее из

удобных для отбора элементов. Отбор элементов для включения в выборку проводится,

главным образом, интервьюером.

Нерепрезентативная выборка наиболее экономна с точки зрения временных и финансовых за-

трат. Элементы выборки доступны, готовы сотрудничать и их характеристики легко измерить.

Несмотря на эти преимущества, данный метод выборочного наблюдения имеет ряд ограничений.

Существует большой риск возникновения различных ошибок выборки, включая самовыбор рес-

пондентов. Нерепрезентативная выборка не может представлять какую-либо определенную сово-

купность. Поэтому абсолютно некорректно распространять на генеральную совокупность выводы,

полученные при анализе нерепрезентативной выборки. Нерепрезентативная выборка не подходит

для маркетинговых исследований, предусматривающих написание заключения обо всей сово-

купности. Нерепрезентативными выборками не рекомендуется пользоваться при проведении де-

скриптивного или причинно-следственного анализа, но их можно применять в поисковых ис-

следованиях, направленных на появление новых идей, понятий или гипотез. Нерепрезентатив-

ные выборки можно применять для создания фокус-групп, для предварительных опросов или в

экспериментальных исследованиях. Но даже в указанных случаях следует проявлять осторож-

ность в оценке полученных результатов. Тем не менее этот метод иногда применяют даже в круп-

ных исследованиях, как это показано на следующем примере.

Пример. На что ориентируются студенты

Для проведения опроса с использованием нерепрезентативной выборки отобрали 1300 из

1700 студенческих лидеров, которые представляли 50 штатов, Вашингтон (округ Колумбия)

и Пуэрто-Рико на 51-й ежегодной конференции Национальной ассоциации студенческих

союзов. Этот опрос, включающий 39 вопросов, касающихся актуальных проблем, тенденций

развития и ценностей, показал, что для студентов самый важный показатель— успешная

карьера, затем — счастливый брак, гармония в отношениях с детьми и посильный вклад в

развитие общества. Получение больших доходов поставлено нанятое место [12].

Поверхностная выборка

Поверхностная выборка (judgemental sampling) — это разновидность нерепрезентативной

выборки, в соответствии с которой элементы совокупности отбираются на основе суждений ис-

следователя. Исследователь, применив свои знания или проведя анализ, отбирает элементы

для включения в выборку, поскольку считает, что они представляют изучаемую совокупность

или подходят по другим соображениям. Типичные примеры поверхностной выборки: пробные

рынки, выбранные для оценки потенциала нового товара; инженеры, покупающие промыш-

ленные товары, выбранные для участия в отраслевых маркетинговых исследованиях, посколь-

Глава 11. Выборка: планирование и проведение 419

ку их считают представителями компании; избирательные участки, выбранные для изучения

поведения избирателей; эксперты в суде; универсальные магазины, выбранные для тестирова-

ния новой системы выкладки товаров. Применение поверхностной выборки рассмотрено на

примере опроса постоянных покупателей универсального магазина.

Поверхностная выборка (judgemental sampling)

Разновидность нерепрезентативной выборки, в соответствии с которой элементы совокупно-

сти умышленно отбираются на основе суждений исследователя.

При проведении опроса постоянных покупателей универсального магазина отбор участков,

кварталов и семей проводился на основе мнения исследователя. Поверхностная выборка недо-

рога, удобна и быстра, однако она не позволяет обобщать результаты, полученные в ходе изуче-

ния определенной совокупности, как правило, потому что эта совокупность точно не определе-

на. Поверхностная выборка субъективна, и ее эффективность полностью зависит от оценки ис-

следователя, его компетентности и изобретательности. Она полезна, если заказчик не требует

подробного заключения о результатах исследования данной совокупности. Как показано на

примере с универсальным магазином, поверхностная выборка часто используется в маркетин-

говых исследованиях предприятий торговли. Дальнейшее развитие этого метода предусматри-

вает деление совокупности на квоты.

СКВОЗНОЙ ПРИМЕР. ВЫБОР УНИВЕРМАГА

Метод выборки

Для проведения опроса постоянных покупателей универмага отобрали 20 участков переписи

в городском районе. Участки с малоимущим населением или высоким уровнем преступно-

сти исключили. В каждом участке отобрали типичные кварталы или кварталы, которые, по

мнению исследователя, хорошо представляли генеральную совокупность. Наконец, в каж-

дом квартале отобрали семьи, проживающие на расстоянии 10 домов друг от друга. Интер-

вьюеры получили следующие предписания.

"Начните с юго-восточного угла указанного квартала. Обходите квартал по часовой стрелке.

По окончании интервью пропустите 10 домов и зайдите в следующий. Обратитесь к семье,

| живущей по соседству, если вы столкнулись с одной из следующих проблем: респондента

I нет дома, респондент отказался отвечать или в семье нет респондента, соответствующего

I критериям отбора. Закончив обход квартала, перейдите к следующему указанному кварталу,

I выполняя ту же процедуру, пока не получите необходимое количество заполненных анкет".

Квотная выборка

Квотную выборку (quota sampling) можно рассматривать в качестве двухэтапной ограничен-

ной поверхностной выборки. Первый этап включает создание контрольных групп, или квот, из

элементов совокупности. Для создания этих квот исследователь фиксирует контрольные харак-

теристики, относящиеся к предмету исследования, и определяет их распределение в изучаемой

совокупности. Контрольные характеристики, относящиеся к предмету исследования, которы-

ми могут выступать пол, возраст и раса, определяются на основании мнения исследователя.

Часто квоты устанавливаются таким образом, что процентное соотношение элементов выбор-

ки, обладающих контрольными характеристиками, равно процентному соотношению элемен-

Поиск по сайту: