|
|||||||
АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция |
Глава 10. Разработка анкеты и форм для записи результатов наблюдения 9 страницадоставляется возможность участвовать в опросе или отказаться от него. Результатом примене- ния этого метода стал 75%-ный коэффициент отклика (по сравнению с 60%-ным коэффици- ентом отклика при проведении опроса по телефону). Можно использовать и другие формы ве- роятностной выборки, причем некоторые из них, например систематическая случайная выборка, относительно просты в применении. f Пример. Выборка в Internet SurveySite ~ это компания, предоставляющая все виды исследовательских услуг, которая расположена в Онтарио (Канада) (www.surveysite.com). Цель создания компании — "разработка наилучших и передовых систем анализа эффективности Web-сайтов, а также предоставление услуг по исследованию рынка для Internet-компаний". Цель компании сформулирована как "абсолютное лидерство в проведении качественных исследований Web- пространства и аналитике посетителей страниц Internet". Одна из исследовательских программ, предлагаемых компанией SurveySite,— "Pop-Up Survey". Программа считает количество людей, посетивших Web-сайт и выбирает посетите- лей с заданной периодичностью. Например, с помошью систематической случайной выбор- ки выбирается каждый 100-й пользователь, посетивший Web-сайт клиента. Когда это про- исходит, на экране появляется сообщение, в котором пользователю предлагается заполнить небольшую онлайновую анкету. Если посетитель нажимает "Нет", сообщение исчезает, по- сле чего возможно продолжение просмотра. При нажатии "Да" появляется составленная клиентом анкета. Преимущество такой "раскрывающейся" модели в том, что она существенно повышает коэффициент отклика пользователей. В обычном исследовании на экране появляется заго- ловок, который приглашает пользователя пройти опрос, Однако коэффициент отклика при использовании заголовков очень низок: 0,2%, или 1 из каждых 500 посетителей. "Раскрывающаяся" модель опроса компании SurvaySite значительно повышает коэффици- ент отклика и сокращает время, затрачиваемое на сбор информации, которое исчисляется в этом случае не неделями, а днями [32]. Использование компьютеров делает составление плана выборочного наблюдения более эф- фективным и результативным. Компьютеры используются для определения основы выборки, поскольку они способны обрабатывать большие перечни элементов совокупности и географи- ческие карты. Компьютеры могут применяться при создании необходимой выборки с исполь- зованием детерминированных или вероятностных методов. После определения основы выбо- рочного наблюдения можно воспользоваться различными программами моделирования для генерации случайных чисел и проведения отбора непосредственно из базы данных. Для реше- ния этих задач применяют программы SPSS, SAS или BMDP (для работы с микрокомпьютера- ми и обычными ЭВМ), Minitab, Excel. Специализированные программы, например Genesis, отбирающие респондентов для телефонного опроса, дают исследователю возможность создавать выборку из случайных телефонных номеров (RDD), в то же время избегая набора нерезульта- тивных номеров в процессе исследования. Специалисты компании Burke используют различные методы выборки в зависимости от характера и задач маркетинговых исследований. Один из наиболее распространенных методов | детерминированной выборки — квотная выборка, применяемая главным образом при прове- [ дении интервью-"перехватов" в торговых центрах, таких как "Изучение общественного мне-! ния" (см. врезку "В центре внимания Burke" в главе 6). Цель этих исследований заключается i скорее в относительной оценке эффективности различных переменных (например, рекламных | 436 Часть II. Разработка плана исследования объявлений), чем в распространении полученных результатов на всю генеральную совокуп- ность. Вероятностные методы выборки применяются в случаях, когда целью исследования яв- ляется перспективная оценка, как при определении объема продаж и рыночной доли отдель- ной торговой марки. Простая случайная выборка применяется при выборе респондентов из списка адресатов и при генерации телефонных номеров для таких опросов, как CATI, в кото- рых подбор номеров проводится различными методами случайных чисел. Компания Burke раз- работала эффективные процедуры исключения нерезультативных телефонных номеров, ото- бранных этими методами (например, исключение повторного выбора номера, выбора нерабо- тающих номеров, а также номера телефона организации при проведении опроса семей). При выборе респондентов для опросов в Internet использовался систематический метод выборки. При проведении опросов Webnostics, оценивающих эффективность Web-сайтов в краткосроч- ном периоде, специалисты Burke воспользовалась методом случайного л-го (или /-го, если пользоваться терминологией этого учебника) посетителя для отбора респондентов в Internet. В броузере каждого л-го (/-го) посетителя Web-сайта заказчика неожиданно возникала надпись, предлагающая принять участие в опросе и обещающая за это определенное вознаграждение. Посетители узла могут отказаться от участия в опросе, точно так же, как в исследованиях, про- водимых в реальном мире. Применяя систематическую выборку, Burke избегает ошибки само- отбора, связанной с возможностью участия в опросе любого респондента, нажимающего кноп- ку "нажми", размещенную на странице для сбора оперативной информации. Еще один метод вероятностной выборки, который широко использует Burke, — страти- фицированный отбор. В некоторых исследовательских проектах совокупность стратифици- руется с учетом демографических или других переменных, чтобы обеспечить включение от- дельных сегментов в выборку и повысить точность результатов. Главное решение, которое Burke принимает в таких исследованиях, — это решение о выборе между пропорциональной или непропорциональной стратифицированной выборкой. Недавно Burke провела исследо- вание для компании, которая разработала для женщин инвестиционный инструмент, пре- дусматривающий получение ежегодного дохода. Для стратификации совокупности женщин заказчик выбрал две переменные — возраст (до 35 лет и 35 и старше) и семейное положение (не была замужем и была замужем), Первое условие клиента заключалось в отборе 100 рес- пондентов для каждого из четырех итоговых слоев. Приняв во внимание данные переписи, Burke установила такое распределение этих групп в совокупности. Женщины от 15 до 34 лет, не выходившие замуж 10,4% Женщины 35 лет и старше, не выходившие замуж 3,4% Женщины от 15 до 34 лет, выходившие замуж 22,3% Женщины 35 лет и старше, выходившие замуж 64,0% Безусловно, затраты на создание выборки из женщин 35 лет и старше, которые не были замужем, слишком велики, учитывая небольшой процент таких женщин в генеральной со- вокупности (3,4%). К тому же, сложно подобрать соответствующие весовые коэффициенты для анализа полученных данных (детальнее — в главе 14). Не вдаваясь в статистические под- робности, достаточно сказать, что применение весовых коэффициентов в этом случае суще- ственно увеличит отличие заключительной оценки от оценки результатов пропорциональ- ной представительной выборки. Поэтому Burke порекомендовала заказчику применить про- порциональную стратифицированную выборку, так как клиент был заинтересован в перспективной оценке всего потребительского рынка женщин, а не отдельных его сегмен- тов. Руководство Burke очень внимательно относится к просьбам заказчика. Предположим, в данной ситуации клиент решил, что 3,4% женщин, в возрасте 35 лет и старше, которые не были замужем, занимают важную рыночную нишу, и эту группу нужно проанализировать отдельно. В таком случае, несмотря на низкую эффективность затрат и негативные послед- ствия использования большого количества весовых коэффициентов, пожелание заказчика будет учтено в первую очередь и специалисты Burke продолжат исследование, согласно на- чальным указаниям клиента. В целом, Burke выбирает план выборочного наблюдения, в ко- тором наиболее учтены пожелания заказчика. Глава 11. Выборка: планирование и проведение 437 РЕЗЮМЕ Информацию о характеристиках генеральной совокупности (популяции) можно полу- чить в результате выборочного или сплошного наблюдения (переписи). Бюджетные и вре- менные ограничения, большой размер генеральной совокупности и небольшое разнообразие исследуемых характеристик свидетельствуют в пользу применения выборки. Выборка также предпочтительнее, если цена ошибки выборки невелика, в отличие от цены систематиче- ской ошибки, характер измерения деструктивен и внимание сосредоточено на индивиду- альных случаях. В противном случае предпочтительнее перепись. Составление плана выборочного наблюдения начинается с определения изучаемой сово- купности с точки зрения элементов, единиц выборки, территории и времени. Затем необходи- мо определить основу выборочного наблюдения, которая содержит элементы, представляющие изучаемую совокупность, а также ряд инструкций по определению изучаемой совокупности. На этом этапе важно принять во внимание все возможные ошибки основы выборки. Следую- ший шаг — выбор метода отбора и определение объема выборки. При определении объема вы- борки количественный анализ необходимо дополнить рассмотрением некоторых качественных характеристик. Наконец, для успешного выборочного наблюдения необходимо детально опи- сать все этапы процесса выборки. Методы выборки можно разделить на детерминированные и вероятностные. Детерминиро- ванные методы основаны на мнении исследователя. Значит, они не позволяют объективно оценить точность результатов выборки, и полученные значения не подлежат статистическому распространению на всю совокупность. Распространенные детерминированные методы: нере- презентативная выборка, поверхностная выборка, квотная выборка и выборка по принципу "снежного кома". При использовании вероятностных методов единицы выборки определяются случайным об- разом. Каждый элемент имеет отличную от нуля вероятность включения в выборку. Исследова- тель заранее устанавливает все возможные выборки данного объема, которые можно получить из совокупности, а также вероятность получения каждой выборки. Также можно определить точ- ность полученных результатов и выводов и распространить их на изучаемую совокупность. При- ведем примеры вероятностных методов: простая случайная выборка, систематическая выборка, стратифицированная выборка, кластерная выборка, последовательная выборка и метод двой- ного контроля. Решение о выборе вероятностного или детерминированного метода отбора должно быть принято с учетом характера исследования, степени допустимой ошибки, относи- тельной величины ошибок выборки и систематических ошибок, изменчивости совокупности, а также статистических и операционализационных соображений. При проведении международных маркетинговых исследований важно иметь возможность сравнивать структуру и представительность разных выборок, несмотря на то, что для этого по- требуются различные методы исследования в разных странах. Непрофессионально и ошибочно рассматривать детерминированную выборку как вероятностную и распространять ее результаты на изучаемую совокупность. Использование Internet и компьютеров делает процесс планирова- ния выборочного наблюдения рациональнее и эффективнее. ОСНОВНЫЕ ТЕРМИНЫ И ПОНЯТИЯ • байесов подход (Bayesian approach) • вероятностная выборка, пропорциональ- • бесповторная выборка (sampling without ная объемУ (Probability Proportionate to size replacement) Sampling - • вероятностная выборка (probability * вь'борка (sample) sampling) • выборка по принципу "снежного кома" (snowball sampling) 438 Часть II. Разработка плана исследования генеральная совокупность, популяция (population) детерминированная выборка (nonprobability sampling) единица выборки (sampling unit) изучаемая совокупность (target population) квотная выборка (quota sampling) кластерная выборка (cluster sampling) метод двойного контроля (double sampling) нерепрезентативная выборка (convenience sampling) объем выборки (sample size) основа выборочного наблюдения (sampling frame) поверхностная выборка (judgemental sampling) повторная выборка (sampling with replacement) последовательная выборка (sequential sampling) простая случайная выборка (Simple Random Sampling — SRS) систематическая выборка (systematic sampling) сплошное наблюдение, перепись (census) стратифицированная выборка (stratified sampling) территориальная выборка (area sampling) элемент совокупности (element) УПРАЖНЕНИЯ Вопросы 1. В чем главное отличие между выборкой и переписью? 2. В каких случаях лучше использовать выборку, а не перепись? В каких случаях, наоборот, предпочтительнее использовать перепись? 3. Опишите процедуру составления плана выборочного наблюдения. 4. Каким образом следует определять изучаемую совокупность? 5. Что такое единица выборки? Чем она отличается от элемента совокупности? 6. Какие качественные факторы нужно учитывать при определении объема выборки? 7. Что такое коэффициент охвата? Как он влияет на объем выборки? 8. В чем отличие вероятностных методов выборки от детерминированных? 9. Какой из методов выборки самый экономный с точки зрения финансовых и временных за- трат? Каковы основные ограничения этого метода? 10. В чем главное отличие между поверхностной и нерепрезентативной выборкой? 11. Что общего между квотной и поверхностной выборкой? 12. Каковы отличительные черты простой случайной выборки? 13. Опишите процедуру систематической случайной выборки. 14. Опишите стратифицированную выборку. Каковы критерии отбора переменных для стра- тификации? 15. Чем отличается пропорциональная стратифицированная выборка от непропорциональной? 16. Опишите процедуру кластерной выборки, Чем отличается кластерная выборка от страти- фицированной? 17. Какие факторы необходимо учитывать при выборе между вероятностным и детерминиро- ванным методами выборки? Глава 11. Выборка: планирование и проведение 439 Задания 1. Для каждой из следующих ситуаций определите соответствующую изучаемую совокупность и основу выборочного наблюдения. a) Производитель нового вида сухих завтраков хочет провести домашнее тестирование продукта в Чикаго. b) Национальная сеть магазинов хочет определить потребительские предпочтения покупа- телей, имеющих платежную карточку этой сети. c) Местная телевизионная станция хочет определить, какие передачи пользуются попу- лярностью в семьях и каким именно программам зрители отдают предпочтение. d) Местное отделение Американской ассоциации маркетинга хочет оценить эффектив- ность работы своего нового представительства в Атланте. 2. Производитель хочет провести опрос потребителей, чтобы определить потенциальный спрос на новый пресс с механическим приводом. Новый пресс имеет мощность, равную 500 тонн и стоит 225 тысяч долларов. Он применяется для формовки изделий из легкой и тяже- лой стали и полезен производителям автомобилей, строительного оборудования и крупных механических конструкций. a) Определите генеральную совокупность и основу выборки, которые могут использовать- ся в данном случае. b) Опишите, как получить простую случайную выборку, используя установленную вами основу выборки. c) Можно ли провести стратифицированную выборку? Если да, то каким образом? d) Можно ли применить кластерную выборку? Если да, то каким образом? e) Какой из методов выборочного наблюдения вы порекомендуете? Почему? УПРАЖНЕНИЯ С ИСПОЛЬЗОВАНИЕМ INTERNET И КОМПЬЮТЕРА 1. Компания Procter & Gamble хочет провести опрос потребителей и узнать, какие виды зубной пасты предпочитают жители Лос-Анджелеса. Для проведения опроса она пользуется мето- дом стратифицированной случайной выборки. Посетите страницу www. city. net и най- дите информацию, необходимую для деления совокупности на слои с различным уровнем дохода и возрастом. 2. С помошью компьютерной программы Genesys создайте случайную выборку телефонных номеров тысячи людей, проживающих в вашем муниципальном районе. 3. С помошью компьютерной программы сгенерируйте тысячи случайных номеров для про- стой случайной выборки. 4. Посетите в Internet Web-сайт компании SurveySite (www. surveysite. com). Проанализи- руйте исследования, которые проводились этой компанией в Internet. Напишите отчет об использованных их в планах выборочного исследования. КОММЕНТАРИИ 1. Marc Gunther, "This Gang Controls Your Kids' Brains", Fortune, October 27,1997, p. 172-182. 2. Carol Krol, "Survey: Friends Lead Pack in Kids' Spending Decisions", Advertising Age, March 30, 1997, p. 16; The Warner-Lambert Company, The American Chicle Youth Poll. 440 Часть II. Разработка плана исследования 3. V. Verma, T. Le, "An Analysis of Sampling Errors for the Demographic and Health Surveys", International Statistical Review, December 1966, p. 265—294; H. Assael, J. Keon, "NonsampHng versus Sampling Errors in Sampling Research", Journal of Marketing, Spring 1982, p. 114—123. 4. Barbara A. Bailar, "Does Sampling Work?", Business Economics, January 1997, p. 47—53; "Frequently Asked Questions about Census 2000", Indiana Business Review, Summer 1997, p. 10. 5. Arlene Fink, How to Sample in Surveys (Thousand Oaks, CA: Sage Publications, 1995); Martin R. Frankel, "Sampling Theory", in Peter H. Rossi, James D. Wright, Andy B. Anderson (eds.), Handbook of Survey Research (Orlando, FL: Academic Press, 1983, p. 21—67; R.M. Jaeger, Sampling in Education and the Social Sciences (New York Longman, 1984), p. 28—29. 6. Gary T. Henry, Practical Sampling (Thousand Oaks, CA; Sage Publications, 1995); Seymour Sudman, "Applied Sampling", in Peter H. Rossi, James D. Wright, Andy B. Anderson (eds.), Handbook of Survey Research (Orlando, FL: Academic Press, 19S3,p. 145—194. 7. Robert Cage, "New Methodology for Selecting CPI Outlet Samples", Monthly Labor Renew, December 1996, p. 49-83. 8. Wayne Smith, Paul Mitchell, Karin Attebo, Stephen Leeder, "Selection Bias f r om Sampling Frames: Telephone Directory and Electoral Roll Compared with Door-to-Door Population Census: Results from the Blue Mountain Eye Study", Australian & New Zealand Journal of Public Health, April 1997,p. 127-133. 9. О влиянии ошибок инструментария на результаты исследования, см. статью Kelly E. Fish, James H. Barnes, Benjamin F. Banahan, I I I, "Convenience or Calamity: Pharmaceutical Study Explores the Effects of Sample Frame Error on Research Results", Journal of Health Care Marketing, Spring 1994, p. 45-49. 10. "The Many Faces of Florida", Association Management (A Guide to Florida Supplement), April 1997, p. 3; "Florida Travel Habits Subject of Phone Survey", Quirk's Marketing Research Review, May 1987,p. 10,11, 31, 56, 60. 11. О последних случаях применения нерепрезентативной выборки см. статью Nin Foo Но, Beng Soo Ong, Seonsu, "A Multicultural Comparison of Shopping Patterns among Asian Consumers", Journal of Marketing Theory & Practice, Winter 1997,p. 42—51. 12. Richard Zelade, "Money Isn't Quite Everything", International Business, May—June 1997, p.9; "Students Seek Good Careers, Successful Marriages", Quirk's Marketing Research Review, June-July 1988, p. 26. 13. Brian OTcole, "Have You Had Your Quota of Nearest Birthdays", Australian & New Zealand Journal of Public Health, April 1997, p. 117-119; Catherine Marsh, E. Scarbrough, "Testing Nine Hypotheses about Quota Sampling", Journal of Market Research Society (UK), October 1990, p. 485-506; Leslie Kish, Survey Sampling (New York: John Wiley, 1965), p. 552. 14. John Curtice, Nick Sparrow, "How Accurate Are Traditional Quota Opinion Polls", Journal of the Market Research Society, July 1997, p. 433-448. 15. "Public Opinion: Polls Apart", Economist, August 12, 1995, p. 48; Seymour Sudman, "Improving the Quality of Shopping Center Sampling", Journal of Marketing Research, November 1980, p. 423—431. 16. О последних случаях применения выборки по принципу снежного кома см. статью Gary L. Frankwick, James С. Ward, Michael D. Hutt, Peter H. Reingen, "Evolving Patterns of Organizational Beliefs in the Formation of Strategy", Journal of Marketing, April 1994, p. 96—110. 17. Если строго следовать определенным правилам при перечислении элементов редких совокуп- ностей, выборку по принципу "снежного кома" можно рассматривать как вероятностную. См. работы Gary T. Henry, Practical Sampling (Thousand Oaks, CA: Sage Publications, 1995); Graham Kalton, Dallas W. Anderson "Sampling Rare Populations", Journal of the Royal Statistical Association (1986), p 65-82. 18. Gale D. Muller, Jane Miller, "Interviewers Make the Difference", Marketing Research: A Magazine of Management & Applications, Spring 1996, p. 8—9; Raymond F. Barker, "A Demographic Profile of Marketing Research Interviewers", Journal of the Market Research Society, July 1987, p. 279—292. Глава 11. Выборка: планирование и проведение 441 19. Если выборочный интервал / является дробным числом, самый простой выход — использо- вать в качестве интервала ближайшее целое число, меньшее или большее /. Если округление приводит к слишком сильному изменению объема выборки, увеличьте или уменьшите ко- личество знаков. 20. О последних случаях применения систематической случайной выборки см. статьи Hailn Qu, Isabella Li, "The Characteristics and Satisfaction of Mainland Chinese Visitors to Hong Kong", Journal of Travel Research, Spring 1997, p. 37—41; Goutam Chakraborty, Richard Ettenson, Gary Gaeth, "How Consumers Choose Health Insurance", Journal of Health Care Marketing, Spring 1994, p. 21—33. 21. Mark Adams, "Court Marshall", Mediaweek, March 18, 1996, p. 22; "Readership Survey Serves Tennis Magazine's Marketing Needs", Quirk's Marketing Research Review, May 1988, p. 75—76. 22. О последних случаях применения расслоенной выборки см. статью Samaradasa Weerahandi, Soumyo Moitra, "Using Survey Data to Predict Adoption and Switching for Services", Journal of Marketing Research, February 1995, p. 85—96. 23. "Purchasing Smarts Pay Off in Travel Buying", Purchasing, December 12, 1996, p. 30-31; "Vacations High Priority Among Americans, Survey Shows", Quirk's Marketing Research Review, May 1988, p. 16-19. 24. "Niche Marketing to the Wealthy", Health Care Strategic Management, September 1997, p. 12; Thomas J. Stanley, Murphy A. Sewatl, "The Response of Affluent Consumers to Mail Surveys", Journal of Advertising Research, June—July 1986, p. 55—58. 25. Деление редких совокупностей на кластеры по географическому признаку может оказаться весьма полезным. См. работы James С. Raymondo, "Confessions of a Nielsen Household1', American Demographics, March 1997, p. 24—27; Seymour Sudman, "Efficient Screening Methods for the Sampling of Geographically Clustered Special Populations", Journal of Marketing Research, February 1985, p. 20-29. 26. June S. Park, Michael Peters, Kwei Tang, "Optimal Inspection Policy in Sequential Screening", Management Science, August 1991, p. 1058—1061; E.J. Anderson, K. Gorton, R. Tudor, "The Application of Sequential Analysis in Market Research", Journal of Marketing Research, February 1980, p. 97-105. 27. Более подробно метод двойного контроля рассматривается в работах David H. Baillie, "Double Sampling Plans for Inspection by Variables When the Process Standard Deviation Is Unknown", International Journal of Quality & Reliability Management, May 1992, p. 59—70; Martin R. Frankel, Lester R, Frankel, "Probability Sampling", in Robert Ferber (ed.), Handbook of Marketing Research (New York: McGraw-Hill, 1974), p. 2-230-2-246. 28. Steven Murphy, "Moving Targets," Business Latin America, April 1, 1996, p. 4-5. Об использовании различных детерминированных и вероятностных выборочных методов в исследованиях, связанных с сопоставлением различных культур, см. статью Samiee Saeed, Insik Jeong, "Cross Cultural Research in Advertising: An Assessment of Methodologies", Journal of the Academy of Marketing Science, Summer 1994, p. 205—215. 29. Margaret E. Grosh, Paul Glewwe, "Household Survey Data from Developing Countries: Progress and Prospects", American Economic Review, May 1996, p. 15—19. 30. Taylor Humphrey, "Horses for Courses: How Survey Firms in Different Countries Measure Public Opinion with Different Methods", Journal of the Market Research Society, July 1995, p. 211—219; B.J. Verhage, U. Yavas, R.T. Green, E. Borak, "The Perceived Risk Brand Loyalty Relationship: An International Perspective", Journal of Global Marketing, March 1990, p. 7—22. 31. Satish P. Deshpande, "Managers' Perception of Proper Ethical Conduct: The Effect of Sex, Age, and Level of Education", Journal of Business Ethics, January 1997, p. 79—85; I.P. Akaah, "Differences in Research Ethics Judgments between Male and Female Marketing Professionals", Journal of Business Ethics, August 1989, p. 375-381. 32. Marshall Rice, "What Makes Users Revisit a Web Site?", Marketing News, March 17,1997, p. 12. 442 Часть II. Разработка плана исследования
Поиск по сайту: |
Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Студалл.Орг (0.036 сек.) |