Глава 10. Разработка анкеты и форм для записи результатов наблюдения 8 страница

из них метод SRS применяется как на первом этапе (т.е. при выборе кварталов), так и на втором

(т.е. при отборе семей в кварталах). Этот метод называется простой двухступенчатой кластерной

выборкой. При использовании этого метода количество элементов (семей), отобранных на вто-

ром этапе, одинаково для каждого выбранного кластера (отобранного квартала). Следующий

пример иллюстрирует применение двухступенчатой территориальной выборки.

Пример. Богатые кварталы

Цель проекта маркетингового исследования — изучить поведение богатых покупателей.

С помощью простой случайной выборки отобрано 800 кварталов из перечня округов, жители

которых имеют средний доход, превышающий 50 тысяч долларов. Отбор проводился в шта-

тах, население которых, по данным переписи, представляет собой половину населения стра-

ны с наибольшим уровнем доходов. Маркетологи получили перечень фамилий и адресов

глав приблизительно 95% семей, зарегистрированных во время переписи в этих 800 кварта-

лах. Из 213 тысяч перечисленных семей 9тысяч были отобраны с помощью простой случай-

ной выборки (24].

Этот метод подходит в том случае, когда все кластеры равны по объему, т.е. каждый кла-

стер содержит примерно одинаковое количество единиц. Однако, если объемы различны,

простая двухступенчатая кластерная выборка может привести к ошибочным результатам.

Иногда, объединив различные кластеры, можно сделать их равными по объему. Если объе-

динить кластеры нельзя, следует воспользоваться вероятностной выборкой, пропорцио-

нальной объему (PPS).

При вероятностной выборке, пропорциональной объему (Probability Proportionate to size

Sampling— PPS) кластеры отбираются с вероятностью, пропорциональной их объему. Объем

кластера определяется количеством входящих в него единиц выборки. Поэтому на первом эта-

пе большие по объему кластеры имеют большую вероятность включения в выборку. На втором

этапе вероятность отбора единицы из выбранного кластера обратно пропорциональна его объе-

му. Поэтому вероятность включения в выборку будет равной для всех выборочных единиц, по-

скольку неравная вероятность включения на первой стадии отбора компенсируется неравной

вероятностью включения на второй стадии.

Вероятностная выборка, пропорциональная объему (Probability Proportionate to size

Sampling — PPS)

Метод отбора, согласно которому кластеры выбираются с вероятностью, пропорциональной

их обьему, а вероятность выбора единицы из отобранного кластера обратно пропорцио-

нальна его объему.

428 Часть II. Разработка плана исследования

Кластерная выборка обладают двумя основными преимуществами — выполнимость и низ-

кая себестоимость. Во многих ситуациях единственными легко доступными инструментария -

ми для изучения совокупности будут не элементы, а кластеры. Часто невозможно составить

список всех потребителей, входящих в состав определенной совокупности, принимая во вни-

мание ресурсы данного исследования и связанные с ним ограничения. Однако перечень гео-

графических территорий, телефонных кодов определенного района и других кластеров потре-

бителей получить довольно легко. Кластерная выборка наиболее эффективна с точки зрения

затрат. Однако несмотря на это преимущество, ей присущ ряд ограничений. В результате отбора

по кластерам создаются относительно неточные выборки. Кроме того, сложно сформировать

неоднородные кластеры, так как, например, семьи, живущие в одном квартале, имеют больше

схожих признаков, чем различий [25]. После кластерной выборки сложно рассчитать и оценить

статистику. Все преимущества и недостатки основных методов формирования выборки, в том

числе преимущества и недостатки кластерной выборки, приведены в табл. 11.3. Рис. 11.4 опи-

сывает процедуры формирования вероятностных выборок.

Таблица 11,3. Преимущества и недостатки основных методов формирования выборки

Метод Преимущества Недостатки

Детерминированная выборка

Нерепрезентативная выборка

Поверхностная выборка

Квотная выборка

Выборка по принципу

"снежного кома"

Вероятностная выборка

Простая случайная выборка

(SRS)

Систематическая выборка

Стратифицированная выборка

Кластерная выборка

Наименьшая стоимость

Наименьшая продолжительность

Необъективность отбора;

выборка нерепрезентатаана; не рекомен-

Наибольшее удобство отбора элементов ^ется при проведении дескриптивного

или причинно-следственного исследова-

ния

Низкая стоимость,

удобство, небольшая продолжительность

Может регулироваться по определенным

характеристикам

Позволяет оценить необычные для сово-

купности характеристики

Проста для понимания;

результаты можно распространить на

генеральную совокупность

Позволяет увеличить репрезентатив-

ность; проще в применении, чем SRS; не

требуется основа выборки

Включает все важные подгруппы сово-

купности;

высокая точность

Легка в применении;

эффективна с точки зрения затрат

Не позволяет распространять полученные

результаты на генеральную совокупность;

субъективна

Необъективность отбора;

не гарантирует репрезентативности

Большая продолжительность

Сложно создать основу выборочного на-

блюдения;

большие затраты на проведение; низкая

точность;

не гарантирует репрезентативности

Может уменьшить репрезентативность

Сложно выбрать подходящие переменные

для стратификации;

невозможно стратифицирование с учетом

многих переменных; большие затраты на

проведение

Низкая точность;

сложно рассчитать и оценить результаты

Глава 11. Выборка: планирование и проведение 429

Простая случайная выборка

1. Выберите подходящую основу выборки.

2. Каждому элементу присвойте номер от 1 до Л' (объем целевой совокупности).

3. Выберите с помощью компьютера или таблицы простых случайных чисел (см. табл. J в

Приложении "Статистические таблицы") п (объем выборки) различных случайных чисел

между I к N. Для того чтобы воспользоваться табл. 1, выберите соответствуюшее количе-

ство разрядов (например, если N = 500, выберите три разряда). Произвольно выберите

первое число. Затем продолжите отбор по возрастанию или убыванию, пока не будет ото-

брано л-е количество разных чисел между 1 и Ж Обратите внимание, что нельзя выбирать

О, числа, больше N, и одинаковые числа.

4. Полученные числа будут порядковыми номерами элементов совокупности, которые

должны включаться в выборку.

Систематическая выборка

1. Определите подходящую основу выборки,

2. Присвойте каждому элементу номер от 1 до N (объем популяции),

3. Определите интервал выборки, i, i = N/n. Если / — дробь, округлите ее до ближайшего це-

лого числа.

4. Выберите случайное число г между 1 и i, как для простои случайной выборки.

5. Систематическая случайная выборка состоит из элементов со следующими порядковыми

номерами: г, г + /, г + Д г +,?/,/• + 41,..., г+ (я-1)/.

Стратифицированная выборка

1. Выберите подходящую основу выборки.

2. Выберите переменную(ые) для стратификации и количество слоев, Н.

3. Разделите всю совокупность на Я слоев. Каждый элемент совокупности будет относиться

к одному из Н слоев на основе классификационной переменной.

4. Пронумеруйте в каждом слое элементы числами от 1 до Nk (объем популяции слоя А).

5. Определите для каждого слоя nh объем выборки при условии пропорциональной или не-

пропорциональной стратифицированной выборки.

Обратите внимание,

и

6. Создайте в каждом слое простую случайную выборку объема nh.

Кластерная выборка

Мы опишем процедуру создания двухступенчатой выборки PPS, так как этот метод при

меняют в большинстве случаев.

1. Присвойте номер от 1 до TV каждому элементу совокупности.

2. Поделите совокупность на С кластеров, из которых с будет включено в выборку.

3. Рассчитайте интервал выборки /, / = N/n. Если / — дробь, округлите ее до ближайшего це

лого числа.

4. Выберите случайное число г между 1 и /, как было сделано для простой случайной выборки.

5. Найдите элементы со следующими номерами: г, /• + /, r + 2i,r + 3i,,.., r+ (c-1)/.

6. Выберите кластеры, в которые входят указанные элементы.

430 Часть II. Разработка плана исследования

7. Выберите единицы выборки из каждого отобранного кластера методом SRS или система-

тической выборкой. Количество единиц, отобранных из каждого кластера, приблизи-

тельно одинаково и равно п/с.

8. Если популяция кластера превышает интервал выборки /, этот кластер отбирается со

100-95 вероятностью и в дальнейшем не рассматривается. Рассчитайте новый объем попу-

ляции N*, количество кластеров, подлежащих отбору с* (= с - 1), и новый интервал вы-

борки ("*. Повторяйте эту процедуру до тех пор, пока в выборке не останутся только те кла-

стеры, популяция которых меньше, чем рассчитанный интервал выборки. Если Ь класте-

ров выбрано со 100-% вероятностью, отберите оставшиеся с~Ь кластеров в соответствии с

пп. 1—7. Доля единиц, подлежащих отбору из каждого выбранного со ЮО-% вероятно-

стью кластера, равна n/N. Таким образом, из кластеров, отобранных со ЮО-% вероятно-

стью, получаем п = (n/N) (N, + N2 +... + Nh) единиц. Следовательно, количество единиц,

полученных из кластеров, отобранных методом PPS, составит п* — п — пг.

Рис. 11.4. Процедуры создания вероятностных выборок

Другие методы вероятностной выборки

Кроме четырех основных, существует множество других методов вероятностной вы-

борки, большинство из которых — разновидности базовых. Они разработаны для решения

сложных проблем, возникающих в процессе выборки. Среди них определенную важность

для маркетинговых исследований представляет метод последовательной выборки и метод

двойного контроля,

При последовательной выборке (sequential sampling) отбор элементов генеральной сово-

купности проводится последовательно, при этом на каждом этапе собирается и анализирует-

ся информация и принимается решение о дополнительном отборе элементов популяции.

Объем выборки изначально не известен, однако, перед тем как начинать отбор, исследовате-

ли устанавливают критерии формирования выборки. На каждом этапе отбора такие крите-

рии определяют, продолжать выборку или получено достаточно информации. Метод после-

довательной выборки использовался, чтобы определить, какую из альтернатив предпочтут

потребители. В одном из опросов респондентов спросили, какую из альтернатив они пред-

почитают, и процесс отбора прекратили, когда собрали достаточно информации для опреде-

ления предпочтений потребителей. Этот метод также применялся для установления ценовой

разницы между обычной и усовершенствованной моделями потребительских товаров дли-

тельного пользования [26].

Последовательная выборка (sequential sampling)

Метод вероятностный выборки, согласно которому отбор элементов генеральной сово-

купности проводится последовательно, на каждом этапе собирается и анализируется ин-

формация и принимается решение о дополнительном отборе элементов генеральной со-

вокупности.

При использовании метода двойного контроля (double sampling), который еще называют ме-

тодом двухэтапнои выборки, некоторые элементы популяции отбираются дважды. На первом

этапе проводится выборка и собирается некоторое количество информации обо всех ее элемен-

тах. На втором этапе из элементов начальной выборки создается подгруппа и дальнейшая ин-

формация собирается уже об ее элементах. Этот процесс может состоять из трех или больше

этапов, и различные этапы могут проводиться как одновременно, так и в разное время. Метод

двойного контроля полезен, когда нельзя сразу воспользоваться основой выборки для отбора

конечных элементов выборки, но известно, что его элементы входят в более полную основу вы-

борки. Например, исследователь хочет отобрать в определенном городе семьи, которые пьют

яблочный сок. Исследуемые семьи входят в совокупность всех городских семей, но исследова-

Глава 11. Выборка: планирование и проведение 431

тель не знает, какие из них любят яблочный сок. При применении метода двойного контроля

маркетолог на первом этапе создает основу выборочного наблюдения, состоящую из всех семей.

Основу выборки можно приобрести или составить, воспользовавшись городской адресной

книгой. Далее методом систематического случайного выбора проводится отбор семей для опре-

деления количества купленного яблочного сока. На втором этапе будут отобраны семьи, упот-

ребляющие яблочный сок, и стратифицированы в соответствии с количеством потребляемого

яблочного сока. Затем создается стратифицированная случайная выборка и задаются детальные

вопросы относительно потребления яблочного сока [27].

Метод двойного контроля (double sampling)

Метод выборки, в соответствии с которым некоторые элементы совокупности отбираются

дважды.

Выбор между детерминированной

и вероятностной выборкой

Решение о применении детерминирошнного или вероятностного метода выбора элемен-

тов изучаемой совокупности должно приниматься на основе таких факторов, как характер

исследования, относительная величина систематических ошибок и ошибки выборки, из-

менчивость совокупности, а также на основе статистических и операционализационных со-

ображений (табл. 11.4). Например, в поисковых исследованиях полученные данные счита-

ются предварительными, а применение вероятностной выборки необоснованным. С другой

стороны, вероятностная выборка предпочтительна в итоговом исследовании, в котором ис-

следователь использует полученные результаты для оценки доли рынка. Вероятностная вы-

борка позволяет осуществить статистическое распространение полученных результатов на

изучаемую совокупность.

В ряде случаев маркетинговое исследование требует повышенной точности при оценке

характеристик совокупности. При этом желательно применение вероятностной выборки,

которая поможет избежать необъективного отбора и рассчитать ошибку выборки. Однако

применение вероятностной выборки не всегда дает точные результаты. Если исследование

характеризуется большой величиной систематических ошибок, детерминированная вы-

борка предпочтительнее, поскольку суждения исследователя позволяют лучше контроли-

ровать выборочный процесс.

Еще один фактор — однородность совокупности с учетом исследуемых переменных.

В неоднородной совокупности предпочтительнее вероятностный метод, поскольку в данном

случае важно сохранить представительность выборки. Вероятностная выборка предпочти-

тельнее с точки зрения статистики, так как она лежит в основе наиболее распространенных

статистических методов.

Таблица 11.4. Детерминированная и вероятностная выборка: за и против

Условия, благоприятные для использования

Факторы детерминированной выборки вероятностной выборки

Природа исследования Поисковой Итоговое

Относительное соотношение между величи- Систематическая ошибка больше Ошибки выборки больше

ной систематических ошибок и ошибок вы-

борки

Изменчивость изучаемой совокупности Низкая Высокая

Статистические соображения Неблагоприятные Благоприятные

Операционализационные соображения Благоприятные Неблагоприятные

432 Часть II, Разработка плана исследования

Однако применение вероятностной выборки сопряжено со сложностями и требует от ис-

следователей более высокого уровня статистической подготовки. Она, как правило, более доро-

гостоящая и занимает больше времени, чем детерминированная выборка. При проведении

маркетинговых исследований часто сложно доказать обоснованность дополнительных затрат

времени и денег. Поэтому на практике обоснование того или иного метода выборочного на-

блюдения определяется задачами исследования.

Применение детерминированного

и вероятностного методов выборки

Детерминированная выборка используется при тестировании идеи нового товара, упаковки

и названия продукции, а также анализе эффективности рекламы, для которых обычно не тре-

буется распространение результатов на всю целевую совокупность. Предметом таких исследо-

ваний является определение различных частей выборки, члены которых дают различные отве-

ты или выражают различные мнения. При создании выборки для этих исследований исполь-

зуются такие методы, как интервью-"перехваты" в торговых центрах с использованием

квотной выборки.

С другой стороны, вероятностная выборка применяется, когда необходимо точно опреде-

лить рыночную долю компании или объем продаж на всем рынке. Вероятностная выборка ис-

пользуется в исследованиях общенационального рынка, которые предоставляют информацию

по категориям продуктов и частоте использования различных торговых марок, а также о психо-

логических и демографических характеристиках потребителей. Исследования с использовани-

ем вероятностной выборки обычно применяются в телефонных опросах. При использовании

стратифицированного и систематического методов для отбора респондентов применяют слу-

чайный набор телефонных номеров.

Международные маркетинговые исследования

При проведении международных маркетинговых исследований составление плана выбо-

рочного наблюдения нередко вызывает затруднения. При определении изучаемой совокупно-

сти следует учитывать ряд факторов. Элементы, соответствующие критериям отбора

(респонденты), могут отличаться друг от друга в разных странах. Так, в Соединенных Штатах

Америки дети играют важную роль при покупке детских сухих завтраков. Однако в странах, где

господствуют авторитарные методы воспитания, элементом, соответствующим критериям от-

бора, будет мать. В Соединенных Штатах Америки женщины играют главную роль при покуп-

ке автомобилей и других товаров длительного пользования, а в странах, где господствующее

положение в обществе занимают мужчины, например на Ближнем Востоке, такие решения

принимают именно они. Доступность респондентов при проведении наблюдения в разных

странах различна. Например, в Мексике посторонние не могут запросто входить в дома людей,

принадлежащих к высшему классу, которые ограждены высокими стенами и охраняются мно-

гочисленными слугами. Кроме того, нумерация жилых домов и названия улиц могут отсутст-

вовать, что значительно затрудняет поиск выбранных семей [28].

Создание подходящей основы выборки — также сложная задача. Во многих странах, осо-

бенно в развивающихся, нельзя получить достоверную информацию об изучаемой совокупно-

сти из вторичных источников. Официальные данные отсутствуют или выглядят довольно тен-

денциозно. Списки населения могут отсутствовать в продаже. Временные и денежные затраты,

необходимые для составления этих списков, непомерно высокие. Так, в Саудовской Аравии

отсутствует официально признанная перепись населения; нет выборов, а следовательно, нет

бланков регистрации участников голосования; отсутствуют точные карты с указанием центров

расселения. В данной ситуации интервьюеры могут получить указания начать с заданной от-

правной точки и отбирать каждый л-й жилой дом до тех пор, пока не будет отобрано опреде-

ленное количество единиц.

Глава 11. Выборка; планирование и проведение 433

Принимая во внимание отсутствие подходящей основы выборки, недоступность некоторых

групп респондентов, например женщин в ряде стран, преобладание индивидуального опроса

при проведении исследований, вероятностные выборочные методы редко используются при

проведении международных маркетинговых исследований. Квотная выборка нашла широкое

применение при проведении потребительских и бизнес-опросов, как в развитых, так и в раз-

вивающихся странах. Выборка по принципу "снежного кома" особенно уместна в случаях, ко-

гда исследуемая характеристика необычна для изучаемой совокупности или обращение к рес-

пондентам затруднено. Например, в Саудовской Аравии студентам предложили передать анке-

ты своим родственникам и друзьям. Затем первых участников опроса попросят передать анкету

другим потенциальным респондентам и т.д. Результатом применения этого метода станет уве-

личение объема выборки и коэффициента отклика.

Точность, достоверность и стоимость проведения выборочного наблюдения варьируют в за-

висимости от исследуемой страны. Даже если одна и та же процедура выборки применяется во

всех странах, результаты не подлежат сравнению [29]. Чтобы сравнивать структуру и представи-

тельность выборок, желательно использовать различные методы выборки в разных странах, как

это показано на следующем примере.

Пример. Сравнение выборок, полученных различными методами

Проведенное в Соединенных Штатах Америки исследование показало, что большин-

ство покупателей считают, что покупка товаров и услуг сопряжена с определенной степе-

нью риска, когда они вынуждены делать выбор в пользу одной из торговых марок. Ре-

зультаты исследования, проведенного в США, нужно было сравнить с результатами ис-

следований, проведенных в Мексике, Нидерландах, Турции, Таиланде и Саудовской

Аравии. Изучаемыми респондентами в этих странах выбраны женщины, живущие в

крупных городах и имеющие высокий и средний уровень дохода. Однако в разных стра-

нах применялись различные методы выборки. В Соединенных Штатах Америки для от-

бора респондентов воспользовались случайной выборкой из телефонного справочника.

В Мексике для определения районов проживания респондентов применили поверхност-

ную выборку, основанную на мнении специалистов; затем произвольно выбрали дома

для индивидуальных опросов. В Таиланде также применялась поверхностная выборка, но

исследование проводилось в крупных городах и респонденты отбирались из числа поку-

пателей магазинов. Наконец, в Саудовской Аравии применялся нерепрезентативный от-

бор, в соответствии с которым привлечение респондентов происходило по принципу

"снежного кома". Это было связано с тем, что отсутствовал перечень, из которого можно

было сформировать основу выборки, а общественные традиции запрещали проведение |

стихийных индивидуальных опросов. Таким образом, сравнимость структуры и предста-

вительности выборок была достигнута благодаря применению различных методов выбор-;

ки в разных странах [30].

ЭТИКА МАРКЕТИНГОВЫХ ИССЛЕДОВАНИЙ

В ходе проведения выборочного наблюдения исследователь несет определенную этическую

ответственность перед заказчиком и респондентами. В отношении заказчика исследователь

должен разработать такой план выборочного наблюдения, который позволил бы снизить уро-

вень систематических ошибок и ошибок выборки (см. главу 3). При необходимости следует

использовать вероятностную выборку. При использовании детерминированного метода усилия

должны быть направлены на получение репрезентативной выборки. Непрофессиональным и

ошибочным считается подход к детерминированной выборке как к вероятностной и распро-

странение ее результатов на всю изучаемую совокупность. Как показывает следующий пример,

правильное определение генеральной совокупности и основы выборочного наблюдения, а так-

же применение соответствующего выборочного метода— необходимые условия грамотного

проведения исследования и использования полученных результатов.

434 Часть II. Разработка плана исследования

Пример. Систематическая выборка выявляет типичные различия в нравствен-

ных суждениях мужчин и женщин

Для выявления различий во мнениях об этике исследований между маркетологами —

мужчинами и женщинами, были получены данные от 420 респондентов. Генеральной сово-

купностью выбраны специалисты по маркетингу, а основой для проведения выборочного

наблюдения послужил справочник Американской ассоциации маркетинга. Респонденты

отбирались из справочника на основе систематической выборки. Им прислали вместе с ан-

кетой сопроводительное письмо и конверт с маркой и обратным адресом, а также обещали

снабдить каждого из них копией заключения о результатах исследования. Результаты опроса

маркетологов показали, что женщины демонстрируют, как правило, профессиональную

этичность выше, чем их коллеги мужчины [31].

При исследованиях корпоративного сектора, опросах служащих, а также в других исследо-

вательских проектах, в которых объем совокупности незначителен, исследователи должны осо-

бенно внимательно охранять анонимность респондентов. При небольшом объеме совокупно-

сти узнать респондентов легче, чем при большой. Слишком откровенные детали исследования

или дословное цитирование респондентов в отчетах, предоставляемых заказчику, могут под-

вергнуть риску анонимность респондентов. В таких случаях профессиональная этика обязыва-

ет исследователя сохранить анонимность респондента, даже если это снизит уровень детализа-

ции в отчетах, предоставляемых клиенту и другим сторонам.

ИСПОЛЬЗОВАНИЕ INTERNET И КОМПЬЮТЕРА

Отбор потенциальных респондентов в сети Internet имеет смысл, если сформированная та-

ким образом выборка является репрезентативной по отношению к изучаемой совокупности.

Все больше и больше сфер бизнеса отвечают этому требованию. При проведении количествен-

ных исследований, например опросов по поводу программного обеспечения, компьютеров,

компьютерных сетей, технических изданий, полупроводников и высшего образования, удоб-

нее становится отбор респондентов в сети Internet. При проведении опроса в компании заказ-

чика удобен "внутрисетевой" опрос, так как даже те служащие, которые не имеют доступа к

Internet, обычно пользуются обшей системой электронной почты. Однако отбор респондентов с

помощью Internet не в полной мере применим в исследованиях потребительских товаров, не

связанных с компьютерами.

Чтобы избежать ошибок при формировании выборки, исследователь должен иметь воз-

можность контролировать совокупность, из которой отбираются респонденты. Также следует

убедиться, что респонденты не отвечают больше одного раза, Этим требованиям удовлетворяют

опросы, проводимые по электронной почте, в которых исследователь выбирает определенных

респондентов. Более того, анкеты можно запрограммировать таким образом, чтобы возвращае-

мые ответы автоматически сопоставлялись с соответствующим исходящим электронным сооб-

щением. Это условие также выполняется в Web-опросах, где отобранным респондентам по

электронной почте посылаются приглашения с просьбой посетить Web-сайт, на котором про-

водится опрос. В таком случае опрос проводится на скрытой, защищенной паролем странице в

Internet. Таким образом, другие пользователи Internet не имеют к ней доступа.

При проведении исследований в Internet могут использоваться как детерминированные,

так и вероятностные методы выборки. Кроме того, респондентов можно отобрать предвари-

тельно или подключить к опросу в онлайновом режиме. Подключение к опросу посетителей

Web-сайта— один из примеров нерепрезентативной выборки. Для предварительного отбора

респондентов можно установить некоторые отборочные критерии, основанные на мнении ис-

следователя. Более того, можно установить квоты. Однако степень их соответствия структуре

совокупности будет ограничена числом, а также характеристиками посетителей узла.

Повсеместно используется также простая случайная выборка, Во избежание получения ин-

формации от одних и тех же профессиональных респондентов (в данном случае слово профес-

Глава 11. Выборка: планирование и проведение 435

сионольные означает, что респонденты участвуют во множестве онлайновых опросов для накоп-

ления очков) и создания таким образом непредставительной выборки, некоторые компании, в

частности MBinteractive, используют метод "прерывания потока нажатий". В соответствии с

этим методом произвольно отбираются пользователи, работающие в режиме on-line, и им пре-

Поиск по сайту: