АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция

Экспериментальная психология 14 страница

Читайте также:
  1. I. Перевести текст. 1 страница
  2. I. Перевести текст. 10 страница
  3. I. Перевести текст. 11 страница
  4. I. Перевести текст. 2 страница
  5. I. Перевести текст. 3 страница
  6. I. Перевести текст. 4 страница
  7. I. Перевести текст. 5 страница
  8. I. Перевести текст. 6 страница
  9. I. Перевести текст. 7 страница
  10. I. Перевести текст. 8 страница
  11. I. Перевести текст. 9 страница
  12. Il pea.M em u ifJy uK/uu 1 страница

Лонгитюдное корреляционное исследование строится по плану временных се­рий с тестированием группы через заданные промежутки времени. Помимо эффектов обучения, последовательности и т.д. в лонгитюдном исследовании следует учи­тывать эффект выбывания: не всех испытуемых, первоначально принимавших учас­тие в эксперименте, удается обследовать через какое-то определенное время. Воз­можно взаимодействие эффектов выбывания и тестирования (отказ от участия в последующем обследовании) и т.д.

Структурное лонгитюдное исследование отличается от простого лонгитюда тем, что нас интересует не столько изменение центральной тенденции или разброса ка­кой-либо переменной, сколько изменение связей между переменными. Такого рода исследования широко распространены в психогенетике.

Обработка и интерпретация данных корреляционного исследования. Дан­ные структурного корреляционного исследования представляют собой одну или не­сколько матриц «испытуемые» х «тесты». Первичная обработка заключается в под­счете коэффициентов статистической связи между двумя и более переменными. Выбор меры связи определяется шкалой, с помощью которой произведены изме­рения.

1. Если измерения произведены по дихотомической шкале, то для подсчета тес­ноты связи признаков применяется коэффициент j. Дихотомическую шкалу часто путают со шкалой наименований (даже в пособиях по статистике; см., например, Дж. Гласс и Дж. Стенли. Статистические методы в педагогике и психологии, 1976) Дихотомическая шкала — вырожденный вариант шкалы интервалов; для нее при­менимы все статистические методы шкалы интервалов. Данные для вычисления ко­эффициента представлены в таблице сопряженности (рис. 5.19).

2. Данные представлены в порядковой шкале. Мерой связи, которая соответству­ет шкале порядка, является коэффициент Кэнделла. Он основан на подсчете несов­падений в порядке следования ранжировок Х и Y. Есть ряд испытуемых: сначала мы выстраиваем этот ряд в порядке убывания массы тела, а затем — в порядке убыва­ния роста. Для каждой пары подсчитывается число совпадений и инверсий: совпа­дение, если их порядок по Х и Y одинаков; инверсия, если порядок различен. Разни­ца числа «совпадений» и числа «инверсий», деленная на п(п– 1 ) /2, дает коэффи­циент t. Алгоритм подсчета приведен в пособиях по статистике [см. Дж. Гласс и Дж. Стенли, 1976] и в любом статпакете для персональных компьютеров.

Часто для обработки данных, полученных с помощью шкалы порядка, использу­ют коэффициент ранговой корреляции Спирмена, который является модификацией коэффициента Пирсона для натурального ряда чисел (рангов). Никакого отноше­ния к порядковой шкале он не имеет. Но его рекомендуют применять в том случае, если одно измерение произведено по шкале порядков, а другое — по шкале интер­валов.

3. Данные получены по шкале интервалов, или отношений. В этом случае приме­няется стандартный коэффициент корреляции Пирсона или коэффициент ранговой корреляции Спирмена. В том случае, если одна переменная является дихотомиче­ской, а другая — интервальной, используется так называемый бисериальный коэф­фициент корреляции.

Наконец, если исследователь полагает, что связи между переменными нелиней­ны, он вычисляет корреляционное отношение, характеризующее величину нелиней­ной статистической зависимости двух переменных.

Корреляционное исследование завершается выводом о статистической значимо­сти установленных (или неустановленных) зависимостей между переменными. Од­нако исследователи не ограничиваются такой констатацией. Одна из главных задач, которые возникают перед психологами, — выяснить, не обусловлены ли связи меж­ду отдельными параметрами (психологическими свойствами) скрытыми факторами? Для этой цели применяется аппарат редукции числа переменных: методы многомер­ного анализа данных, которые изучаются психологами в курсе «Математические методы в психологии».

5.4. Планирование корреляционных исследований в кросскультурной психологии и психогенетике

Все сказанное в этой главе относится к общепсихологическому ис­следованию. Существуют, по крайней мере, 4 области планирования исследования, которые редко рассматриваются в литературе, посвященной методам психологиче­ской науки.

Первая область — многомерный эксперимент. Планы многомерного исследо­вания, в частности эксперимента, являются обобщением традиционных схем для случая n -зависимых переменных. В обычном эксперименте мы исследуем влияние одной независимой переменной на одну зависимую. Многоуровневый факторный эксперимент проводится для изучения влияния 1, 2,..., т независимых переменных также на одну зависимую переменную. Многомерный эксперимент предполагает схему т х п, где т — число независимых переменных, п — число зависимых пере­менных. Уже применение плана для 2 независимых и 2 зависимых переменных тре­бует выявления связей между каждой парой независимая — зависимая переменная, т.е. построения 4 таблиц средних результатов 2 х 2 (если сравниваются средние). Кроме того, требуется выявить влияние уровня каждой независимой переменной, а также влияния их взаимодействия на корреляционную связь между двумя зависи­мыми переменными.

Более сложные планы многомерного психологического эксперимента очень тру­доемки и требуют автоматизированного планирования и проведения эксперимента, а также особых компьютерных программ обработки результатов. По крайней мере, планирование многомерных экспериментов предоставляет исследователям широ­кие возможности для творчества.

Вторая область планирования исследования — эксперимент в дифференциаль­ной психологии или индивидуально-психологический эксперимент. Целью этого эксперимента является выявление индивидуальных различий поведения в однород­ных ситуациях. Даже в обычном многомерном исследовании основной гипотезой являются не безусловные суждения «Если А, то В», а условное суждение «Если А, то В — при условии С 1, В — при условии C2 ... и т.д.». В качестве условия выступа­ют дополнительные переменные — индивидуально-психологические различия.

В дифференциально-психологическом эксперименте эти дополнительные пе­ременные становятся основными: мы исследуем личность как детерминанту поведе­ния. Основным статистическим показателем в этом исследовании является не мера центральной тенденции, а показатели вариации значений зависимой переменной. Независимая переменная (задания испытуемому, экспериментальное воздействие) превращается в дополнительную. Варьирование независимой переменной превра­щается в процедуру подбора методом, сочетающим стратификацию и рандомизацию, например, при разработке тестов группы отбираются по полу и возрасту, но по дру­гим показателям они уравниваются.

Планирование дифференциально-психологического исследования — еще одна важнейшая и недостаточно разработанная область экспериментальной психологии.

Третья область — кросскультурные исследования. Любое кросскультурное ис­следование проводится для сопоставления поведения индивидов, выросших в раз­ных социокультурных условиях. Факторы естественного развития и фона (истории), которые в обычном общепсихологическом исследовании выступают как источники артефактов, в кросскультурном исследовании являются аналогами независимой пе­ременной.

По сути своей кросскультурное исследование является вариантом экспери­мента ex-post-facto (эксперимента, на который ссылаются). Поэтому и все требо­вания к ex-post-facto, а также ограничения при интерпретации полученных резуль­татов относятся и к кросскультурному исследованию в равной мере Интерес к срав­нительному изучению закономерностей психического развития представителей различных культур очень велик, и поэтому планирование кросскультурных иссле­дований является одной из наиболее интенсивно развивающихся областей экспери­ментальной психологии.

Четвертое, особое направление — планы исследований в психогенетике. Рас­смотрим подробнее 2 последних области.

5.4.1 Кросскультурное исследование

Кросскультурное исследование является, по сути, частным случа­ем плана сравнения группы. При этом число сравниваемых групп может колебаться (минимум — 2 группы).

Условно можно выделить 2 основных плана, используемых в кросскультурных исследованиях.

Первый план: сравнение 2 и более естественных или отобранных методом рандо­мизации групп из 2 популяций.

Второй план: сочетание плана сравнения 2 и более групп с лонгитюдом, при ко­тором сопоставляются не только различия в особенностях поведения этих групп, но изучается процесс изменения этих особенностей под влиянием времени либо вре­мени и дополнительных внешних факторов.

Однако содержание кросскультурных исследований настолько своеобразно, что большинство специалистов в области теории психологического метода выделяют их в особый тест.

Главная особенность кросскультурной психологии — предмет, который и опре­деляет специфику метода.

Кросскультурная психология берет свое начало в трудах В. Вундта [Вундт В., 1998] и французских социологов начала XX в.: Г. Лебона [Лебон Г., 1998], А. Фулье [Фулье А., 1998], Г. Тарда [Тард Г., 1998].

Однако эти ученые не проводили эмпирических исследований. Методологом кросскультурной психологии (как и эмпирической психологии) стал Вильгельм Вундт. В 1900-1920 гг. он предпринял издание грандиозной, 10-томной «Психоло­гии народов». Главным проявлением «народного духа» он считал языковую деятель­ность (в отличие от языковой системы — предмета исследования лингвистов). Этот труд наряду с «Основами физиологической психологии» стал основным вкладом В. Вундта в психологию. Работа «Проблемы психологии народов» является сборни­ком статей, представляющих собой краткое изложение исследовательской програм­мы В. Вундта, и служит введением в многотомную «Психологию народов».

Вундт выделял в науке о «национальном духе» по крайней мере 2 дисциплины: «историческую психологию народов» и «психологическую этнологию». Первая яв­ляется объяснительной дисциплиной, вторая — описательной.

Законы «психологии народов» — суть законы развития, а основа ее — 3 области, содержание которых «превышает объем индивидуального сознания: язык, мифы и обычаи». В отличие от французских психологов и австрийских психоаналитиков В. Вундта меньше всего интересовало массовое поведение и проблема «личность и масса», а больше — содержание «национального духа» (Volksgeist), что, впрочем, соответствовало представлению о психологии как «науке о сознании». Он подчер­кивает генетический приоритет «национального духа» перед индивидуальным: «В истории человеческого общества первым звеном бывает не индивидуум, но имен­но сообщество их. Из племени, из круга родни путем постепенной индивидуализа­ции выделяется самостоятельная индивидуальная личность, вопреки гипотезам ра­ционалистического Просвещения, согласно которым индивидуумы отчасти под гне­том нужды, отчасти путем размышления соединились в общество». Скрытая полемика с французскими социальными психологами присутствует и в трактовке роли подражания. В. Вундт на примерах усвоения индивидуумами 2 языков показы­вает, что подражание есть не основной, а лишь сопровождающий фактор при соци­альных взаимодействиях, аналогичной критике он подвергает и «теорию индивиду­ального изобретения». На место этих теорий он ставит процессы «общего творче­ства», «ассимиляции» и «диссимиляции», но до конца не раскрывает их природу.

Основным методом «психологии народов», по В. Вундту, являлось понимание, сравнительная интерпретация элементов культуры.

В современной кросскультурной психологии господствует эмпирический метод.

Предметом кросскультурных исследований являются особенности психики лю­дей с точки зрения их детерминации социокультурными факторами, специфичными для каждой из сравниваемых этнокультурных общностей.

Отсюда вытекает то, что для правильного планирования кросскультурного ис­следования следует, во-первых, как минимум, определиться с тем, какие особенно­сти психики могут быть потенциально подвержены влиянию культурных факторов, а также выявить множество параметров поведения, соответствующих этим особен­ностям. Во-вторых, требуется дать операциональные, а не теоретические определе­ния понятиям «культура» и «культурный фактор», а также описать множество этих факторов, которые предположительно могут повлиять на различия в психических особенностях и поведении людей, принадлежащих к разным культурным общностям.

В-третьих, следует выбрать адекватный метод исследования и адекватную мето­дику для измерения особенностей поведения людей, принадлежащих к разным куль­турам.

В-четвертых, следует определиться с объектом исследования. Нужно выбрать для изучения такие популяции, которые явно представляют собой субъекты разных культур. Кроме того, важнейшее значение имеет отбор или выбор групп из популя­ций, которые были бы репрезентативны с точки зрения принадлежности к сопостав­ляемым культурам.

Рассмотрим более подробно эти вопросы.

Кросскультурная психология начинается там, где кончается психогенетика. Ре­зультатом психологического исследования является определение относительного вклада генотипа и среды в детерминацию индивидуальных различий людей по како­му-либо психологическому свойству.

В состав средовой детерминации входят и культурные факторы. Следовательно, на первый взгляд, гипотеза любого кросскультурного исследования должна касать­ся тех свойств психики, которые в большей мере зависят от среды, чем от наслед­ственности, или же существенно зависят от среды.

Однако нет ни одного индивидуально-психологического параметра, который в той или иной степени не подвергался бы средовым влияниям. Поэтому гипотезы о культурной детерминации психологических свойств охватывают весь их спектр: от психофизиологических параметров до ценностных ориентации личности.

Среди факторов культуры, которые могут потенциально влиять на индивидуаль­но-психологические различия, выделяются универсальные и специфические [Лебе­дева Н. М., 1998].

Существует множество классификаций, характеризующих психологические осо­бенности культур.

Наиболее популярна классификация X. С. Триандиса [Triandis Н. С., 1994], ко­торый сформулировал понятие «культурный синдром» — определенный набор цен­ностей, установок, верований, норм и моделей поведения, которыми одна культур­ная группа отличается от другой.

Основными измерениями культуры он считает «простоту—сложность», «инди­видуализм—коллективизм», «открытость—закрытость». Ряд исследователей [в ча­стности, Хофстед Дж., 1984] выделяют такие параметры, как: 1) дистанция власти — степень неравномерности распределения власти с точки зрения данного об­щества, 2) избегание неопределенности и 3) маскулинность—фемининность.

Разумеется, эти параметры являются крайне примитивными. Даже «закорене­лый» этнопсихолог никогда не сочтет их достаточными и даже необходимыми для описания той или иной культуры.

Сам термин «культура» — крайне неопределенный. Можно вслед за К. Поппером считать культурой «третий мир», созданную людьми систему «преобразован­ной реальности».

Чаще всего культурные различия сводят к этническим, и под кросскультурным исследованием подразумевают этнопсихологическое исследование. Иногда культу­ры (точнее — группы людей, принадлежащие к разным культурам) различают по другим критериям: 1) место проживания — речь идет о «городской» и «сельской» культуре; 2) религиозная принадлежность — имеют в виду православную, мусуль­манскую, протестантскую и пр. культуры; 3) приобщенность к европейской циви­лизации и т.д.

Гипотезы, которые формируются при проведении кросскультурных исследова­ний, выражают причинно-следственные отношения между культурными факторами и психическими особенностями. Культурные факторы считаются причиной разли­чия психических свойств индивидуумов, принадлежащих к разным культурам.

Существует обоснованное предположение об обратном влиянии психических особенностей индивидуумов на характер культуры народов, к которым эти народы принадлежат.

В частности, такие гипотезы можно выдвинуть в отношении темпераментных, интеллектуальных и ряда других психических особенностей, наследственная детер­минация которых весьма существенна. Кроме того, биофизические факторы также влияют на индивидуально-психологические различия. Однако классические кросс-культурные исследования проводятся в рамках парадигм: «культура—причина, пси­хические особенности — следствие».

Очевидно, что любое кросскультурное исследование строится по неэксперимен­тальному плану, экспериментатор не может управлять культурными факторами. Следовательно, нет никаких методических оснований считать связь «культура — особенности психики» причинно-следственной. Правильнее было бы говорить о кор­реляционной зависимости.

В зависимости от методической направленности и предмета содержания крос-скультурные исследования делятся на несколько типов.

Ф. Ван де Вайвер и К. Леун (1997) предложили классифицировать кросскультур-ные исследования в зависимости от двух оснований: 1) конфирматорное (направ­ленное на подтверждение либо опровержение теории) — эксплораторное (поиско­вое) исследование, 2) наличие или отсутствие контекстных переменных (демогра­фических или психологических).

Обобщающее исследование проводится при наличии возможностей переноса или обобщения результатов, полученных при исследовании одной культурной общ­ности, на другие. Эти исследования опираются на некоторую теорию и не учитыва­ют влияния контекстных переменных, поэтому в строгом значении не могут быть отнесены к кросскультурным. Они проводятся для подтверждения универсальных гипотез, относящихся ко всем представителям вида Homo sapiens и уточняют внеш­нюю валидность.

Исследования, базирующиеся на теории, включают факторы кросскультурного контекста. В них проверяются гипотезы о конкретных связях культурных и психи­ческих переменных. В строгом значении термина «кросскультурное исследование» только их можно считать таковыми. Но чаще встречаются исследования психологи­ческих различий. Обычно применяется стандартная измерительная процедура и определяется существование значимых различий в среднем или стандартном раз­бросе измеряемых психических свойств 2 или более групп, принадлежащих к раз­ным культурам. Культурные факторы при планировании исследований не учитыва­ются, а привлекаются лишь для интерпретации полученных различий.

Последний тип исследований — «специальные исследования внешней валидно­сти» (точнее было бы сказать — экологической) направлены на выявление разли­чий в проявлении психических свойств под влиянием культурных факторов. Иссле­дуется влияние ряда факторов на 1 (реже 2 или 3) психические особенности. Для обработки данных привлекается техника регрессионного анализа. Как правило, у исследователей нет никаких предварительных соображений о том, какие культур­ные переменные и в какой мере влияют на психические особенности.

Главная проблема планирования кросскультурного исследования — конструи­рование или выбор методики для регистрации параметров поведения, валидных по описанию к изучаемым психическим особенностям. Любая психологическая изме­рительная методика является продуктом культуры, чаще всего — западной, и мо­жет иметь адекватное значение только в контексте этой культуры. Первая задача исследователя —добиться высокой (содержательной) валидности методики, иначе испытуемые попросту не будут «включаться» в процесс исследования.

То, что многие авторы считают достижением конструктной (концептуальной) ва­лидности, является не чем иным, как свидетельством того, что обобщенные пред­ставления об исследуемом психическом явлении у лиц, принадлежащих к изучае­мым культурным группам, соответствуют теоретическим представлениям исследо­вателя.

И в «кросскультурном треугольнике» (не путать с Бермудским) необходимо до­биться универсальности поведенческих признаков, измеряемого свойства и их вы­сокой валидности (рис. 5.20).

Хотя многие исследователи считают процедуру нахождения «культурно-поведен­ческих аналогов» основной, я не склонен разделять их позиции. В конце концов фи­зик-теоретик имеет право на свое суждение о причинах падения тел на землю, от­личное от представления, принятого в том или ином племени или социальной груп­пе. Равным образом это касается и психологии как естественной науки. Если же понятие «интеллект» кто-то трактует как социальный интеллект или сводит его к успешности решения учебных задач, а не рассматривает его теоретически как об­щую способность к умственной деятельности, то это его проблема. Другой вопрос, в какой мере на теоретическое представление автора исследования влияет его при­надлежность к определенной культуре? Является ли его взгляд универсальным?

Для того чтобы избежать «культуральной односторонности», предложены два подхода: конвергентный и дивергентный. Конвергентный подход состоит в том, что исследование проводят представители всех культурных групп, которые являются объектом.

Каждый исследователь разрабатывает свой тест, который затем предъявляется каждой группе.

Таким образом, план исследования можно отобразить следующей схемой (для 2 групп):

Группа I О1 (I) О2 (II)

Группа II О3 (I) О4 (II)

Очевидно, результаты сравнения О1 и О3 а также О2 и О4 будут свидетельство­вать о межгрупповых различиях. Причем сравнение D О13 и D О24 станет индикатором дифференцирующей силы методик О (I)и О (II).

Различия результатов О1 и О2, а также О3 и О4 будут являться показателями вли­яния методики измерения на проявления поведения в разных группах. Сопоставле­ние D О12 и D О34 дает информацию об эффекте смещения: влияние взаимодействия методики измерения и состава группы.

Дивергентный подход состоит в учете представлений о природе явления, сло­жившихся у исследователей, принадлежащих к разным культурам, при составле­нии одной методики. Этот подход возможен лишь при разработке методики, где раз­нородность заданий не повлияет на ее надежность и валидность (например, при со­ставлении опросников на ценностные ориентации).

В иных случаях этот подход ничем не отличается от конвергентного.

И все же идеалом для большинства западных исследователей является создание универсальных или свободных от культуры методик.

Методика, составленная исследователем, принадлежащим к той же культурной среде, что и тестируемая группа, скорее всего даст иные результаты при ее примене­нии на группе лиц, принадлежащих другой культуре.

В частности, тест на социальный интеллект, разработанный на материале иссле­дований жизни и обычаев одного из кочевых племен Северо-Восточной Африки, бу­дет более успешно решен представителями этого племени, нежели тест, разрабо­танный российским психологом на материале жизни рабочих и инженеров Средне­го Урала.

Эффекты последовательности могут оказать влияние на результаты исследова­ния, проведенного с помощью «конвергентного» плана. Поэтому рекомендуется удвоить число групп и каждую группу тестировать в определенной последователь­ности.

Усовершенствованный план конвергентного кросскультурного исследования для 2 культуральных общностей выглядит следующим образом:

Культура Группа 1 О1 (I) О2 (II)

Группа 2 О3 (I) О4 (II)

Культура II Группа 3 О5 (I) О6 (II)

Группа 4 О7 (I) О8 (II)

Но даже этот план недостаточен. Необходимо контролировать влияние иссле­дователя. В большинстве кросскультурных исследований тестирование проводит психолог, принадлежащий к одной из 2 тестируемых культуральных общностей или же к 3-й — чаще всего западноевропейской либо североамериканской. Коммуника­тивные проблемы могут быть основным источником погрешностей. Дело не только в знании испытуемым языка, которым владеет исследователь, или наоборот — зна­ния исследователем языка изучаемой национальной группы. Различия в поведен­ческих стереотипах, установках, способах общения и т.д. могут быть настолько ве­лики, что приведут к нарушению всей процедуры тестирования и полному искаже­нию результатов. Поэтому целесообразно, чтобы кросскультурные исследования проводились представителями обеих тестируемых культурных групп. Разумеется, применение балансировки, учитывающей личность экспериментатора, резко увели­чивает число тестируемых групп. В этом случае следует отказаться от полного пла­на и воспользоваться планом «латинский квадрат».

Наиболее подвержены влиянию культурных факторов результаты вербальных тестов. Требуется оценить адекватность в каждой исследуемой группе изучаемых психологических конструктов, способа предъявления материала и содержания во­просов или утверждений.

Д. Кэмпбелл и О. Вернер [Werner О., Campbell D. Т., 1970] предложили технику двойного перевода методики. Тест переводится с языка оригинала на язык культур­ной группы, а затем другой переводчик независимо переводит этот текст на язык оригинала. Рассогласования используют для устранения недостатков в формулиров­ке утверждений. Второй прием, предложенный теми же авторами, — «децентрация», а именно, исключение из оригинального текста методики понятий и выраже­ний, которые сложны для перевода или специфичны для культуры, к которой при­надлежит автор методики.

Однако до сей поры разработано лишь несколько методик, удовлетворяющих кри­терию культурной универсальности.

Американские этнопсихологи разделяют все методики на «культурно-специфич­ные» и «универсальные».

К числу тестов, «свободных от влияния культуры» (и то — по мнению авторов), принадлежат «прогрессивные матрицы» Дж. Равена, «Культурно-свободный тест» (CFT) Р. Б. Кеттелла, опросники Г. Ю. Айзенка ЕР1 и EPQ, тест МакКрея и Косты «Большая пятерка» (Big Five) и ряд других.

Большинство этнопсихологов считает, что попытки создания методик, свобод­ных от влияния культуры, сродни поискам «вечного двигателя».

Таблица. 5.15


1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 |

Поиск по сайту:



Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Студалл.Орг (0.011 сек.)