АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция

Экспериментальная психология 11 страница

Читайте также:
  1. I. Перевести текст. 1 страница
  2. I. Перевести текст. 10 страница
  3. I. Перевести текст. 11 страница
  4. I. Перевести текст. 2 страница
  5. I. Перевести текст. 3 страница
  6. I. Перевести текст. 4 страница
  7. I. Перевести текст. 5 страница
  8. I. Перевести текст. 6 страница
  9. I. Перевести текст. 7 страница
  10. I. Перевести текст. 8 страница
  11. I. Перевести текст. 9 страница
  12. Il pea.M em u ifJy uK/uu 1 страница

После проведения рандомизации или иной процедуры уравнивания групп осуще­ствляется экспериментальное воздействие. В простейшем варианте используется лишь две градации независимой переменной: есть воздействие, нет воздействия.

Если необходимо использовать не 1 уровень воздействия, то применяются пла­ны с несколькими экспериментальными группами (по числу уровней воздействия) и одной контрольной.

Если же нужно контролировать влияние одной из дополнительных переменных, то применяют план с 2 контрольными группами и 1-й экспериментальной. Измере­ние поведения дает материал для сравнения 2 групп. Обработка данных сводится к применению традиционных для математической статистики оценок. Рассмотрим случай, когда измерение проводится интервальной шкалой. Для оценки различия в средних показателях групп используют t -критерий Стьюдента. Оценивание разли­чий в вариации измеряемого параметра между экспериментальной и контрольной группами проводится с помощью критерия F. Соответствующие процедуры подроб­но рассмотрены в учебниках математической статистики для психологов.

Применение плана для 2 рандомизированных групп с тестированием после воз­действия позволяет контролировать основные источники внутренней невалидности (как их определяет Кэмпбелл). Поскольку предварительное тестирование отсут­ствует, исключен эффект взаимодействия процедуры тестирования и содержания экспериментального воздействия и сам эффект тестирования. План позволяет кон­тролировать влияние состава групп, стихийного выбывания, влияние фона и есте­ственного развития, взаимодействие состава группы с другими факторами, позволя­ет также исключить эффект регрессии за счет рандомизации и сравнения данных экспериментальной и контрольной групп. Однако при проведении большинства пе­дагогических и социально-психологических экспериментов необходимо жестко контролировать исходный уровень зависимой переменной, будь то интеллект, тревож­ность, знания или статус личности в группе. Рандомизация — лучшая процедура из возможных, но она не дает абсолютной гарантии правильности выбора. Когда суще­ствуют сомнения в результатах рандомизации, применяют план с предварительным тестированием.

Таблица 5.2

1. Экспериментальная группа R О1 Х О2
2. Контрольная группа R О3 О4

 


2) План для двух рандомизированных групп с предварительным и итоговым тестированием. Рассмотрим структуру этого плана (табл. 5.2).

План с предварительным тестированием пользуется популярностью у психоло­гов. Биологи больше доверяют процедуре рандомизации. Психолог прекрасно зна­ет, что каждый человек своеобразен и отличен от других, и подсознательно стре­мится уловить эти различия с помощью тестов, не доверяя механической процедуре рандомизации. Однако гипотеза большинства психологических исследований, осо­бенно в области психологии развития («формирующий эксперимент»), содержит прогноз определенного изменения свойства индивида под влиянием внешнего фак­тора. Поэтому план «тест—воздействие—ретест» с применением рандомизации и контрольной группой очень распространен.

При отсутствии процедуры уравнивания групп этот план преобразуется в квазиэкспериментальный (он будет рассмотрен в разделе 5.2).

Главный источник артефактов, нарушающий внешнюю валидность процеду­ры, — взаимодействие тестирования с экспериментальным воздействием. Напри­мер, тестирование уровня знаний по определенному предмету перед проведением эксперимента по заучиванию материала может привести к актуализации исходных знаний и к общему повышению продуктивности запоминания. Достигается это за счет актуализации мнемонических способностей и создания установки на запоми­нание.

Однако с помощью этого плана можно контролировать другие внешние перемен­ные. Контролируется фактор «истории» («фона»), так как в промежутке между пер­вым и вторым тестированием обе группы подвергаются одинаковым («фоновым») воздействиям. Вместе с тем Кэмпбелл отмечает необходимость контроля «внутригрупповых событий», а также эффекта неодновременности тестирования в обеих группах. В реальности невозможно добиться, чтобы тест и ретест проводились в них одновременно. План превращается в квазиэкспериментальный, например:

R О1 Х О2

R О3 О4

Обычно контроль неодновременности тестирования осуществляют два экспери­ментатора, проводящие тестирование двух групп одновременно. Оптимальной счи­тается процедура рандомизации порядка тестирования: тестирование членов экспе­риментальной и контрольной групп производится в случайном порядке. То же самое делается и с предъявлением — не предъявлением экспериментального воздействия. Разумеется, такая процедура требует наличия значительного числа испытуемых в экспериментальной и контрольной выборках (не менее 30-35 человек в каждой).

Естественное развитие и эффект тестирования контролируются за счет того, что они одинаково проявляются в экспериментальной и контрольной группах, а эффек­ты состава групп и регрессии [Кэмпбелл, 1980] контролируются при помощи проце­дуры рандомизации.

Результаты применения плана «тест—воздействие—ретест» представлены в таблице.

При обработке данных обычно используются параметрические критерии t и F (для данных в интервальной шкале). Вычисляются три значения t: сравнение 1) О1 и О2; 2) О3 и О4; 3) О2 и О4. Гипотезу о значимом влиянии независимой переменной на зависимую можно принять в том случае, если выполняются два условия: а) раз­личия между О1 и О2 значимы, а между О3 и О4 — незначимы и б) различия между О2 и О4 значимы. Гораздо удобнее сравнивать не абсолютные значения, а величины прироста показателей от первого тестирования ко второму (i)). Вычисляются δ(i12) и δ(i34) и сравниваются по t -критерию Стьюдента. В случае значимости различий принимается экспериментальная гипотеза о влиянии независимой переменной на зависимую (табл. 5.3).

Рекомендуется также применять ковариационный анализ по Фишеру. При этом показатели предварительного тестирования берутся в качестве дополнительной пе­ременной, а испытуемые разбиваются на подгруппы в зависимости от показателей предварительного тестирования. Тем самым получается следующая таблица для об­работки данных по методу MANOVA (табл. 5.4).

Применение плана «тест—воздействие—ретест» позволяет контролировать вли­яние «побочных» переменных, нарушающих внутреннюю валидность эксперимента.

Внешняя валидность связана с возможностью переноса данных на реальную си­туацию. Главным же моментом, отличающим экспериментальную ситуацию от ре­альной, является введение предварительного тестирования. Как мы уже отметили, план «тест—воздействие—ретест» не позволяет контролировать эффект взаимо­действия тестирования и экспериментального воздействия: предварительно тести­руемый испытуемый «сенсибилизируется» — становится более чувствительным к воздействию, так как мы измеряем в эксперименте именно ту зависимую перемен­ную, на которую собираемся воздействовать с помощью варьирования независимой переменной.

Таблица 5.5

Предварительное тестирование Воздействие
Да Нет
Есть О2 О4
Нет О5 О6

 

Для контроля внешней валидности используется план Р. Л. Соломона, который был предложен им в 1949 г.

3) План Соломона используется при проведении эксперимента на четырех груп­пах:

1. Эксперимент1: R О1 Х О2

2. Контроль 1: R О3 О4

3. Эксперимент 2: R X О5

4. Контроль 2: R О6

План включает исследование двух экспериментальных и двух контрольных групп и по сути является мультигрупповым (типа 2 х 2), но для удобства изложения он рассматривается в этом разделе.

План Соломона представляет собой объединение двух ранее рассмотренных пла­нов: первого, когда не производится предварительное тестирование, и второго — «тест—воздействие—ретест». С помощью «первой части» плана можно контроли­ровать эффект взаимодействия первого тестирования и экспериментального воздей­ствия. Соломон с помощью своего плана выявляет эффект экспериментального воз­действия четырьмя разными способами: при сравнении 1) О2О1; 2) О2О4; 3) О5О6 и 4) О5О3.

Если провести сравнение О6 с О1 и О3, то можно выявить совместное влияние эффектов естественного развития и «истории» (фоновых воздействий) на зависи­мую переменную.

Кэмпбелл, критикуя предложенные Соломоном схемы обработки данных, пред­лагает не обращать внимания на предварительное тестирование и свести данные к схеме 2 х 2, пригодной для применения дисперсионного анализа (табл. 5.5).

Сравнение средних по столбцам позволяет выявлять эффект экспериментально­го воздействия — влияние независимой переменной на зависимую. Средние по стро­кам показывают эффект предварительного тестирования. Сравнение средних по ячейкам характеризует взаимодействие эффекта тестирования и эксперименталь­ного воздействия, что свидетельствует о мере нарушения внешней валидности.

В том случае, когда эффектами предварительного тестирования и взаимодей­ствия можно пренебречь, переходят к сопоставлению О4 и О2 методом ковариацион­ного анализа. В качестве дополнительной переменной берутся данные предвари­тельного тестирования по схеме, приведенной для плана «тест—воздействие—ретест».

Наконец, в некоторых случаях необходимо проверить сохранение во времени эф­фекта воздействия независимой переменной на зависимую: например, выяснить, приводит ли новый метод обучения к долгосрочному запоминанию материала Для этих целей применяют следующий план:

1 Эксперимент 1 R О1 Х О2

2 Контроль 1 R О3 О4

3 Эксперимент 2 R О5 Х О6

4 Контроль 2 R О7 О8

5.1.2 Планы для одной независимой переменной и нескольких групп

Иногда сравнения двух групп недостаточно для подтверждения или опровержения экспериментальной гипотезы. Такая проблема возникает в двух слу­чаях: а) при необходимости контроля внешних переменных; б) при необходимости выявления количественных зависимостей между двумя переменными.

Для контроля внешних переменных используются различные варианты фактор­ного экспериментального плана. Что касается выявления количественной зависи­мости между двумя переменными, то необходимость ее установления возникает при проверке «точной» экспериментальной гипотезы. В эксперименте с участием двух групп в лучшем случае можно установить факт причинной связи между независи­мой и зависимой переменными. Но между двумя точками можно провести бесконеч­ное множество кривых. Для того чтобы убедиться в наличии линейной зависимости между двумя переменными, следует иметь хотя бы три точки, соответствующие трем уровням независимой переменной. Следовательно, экспериментатор должен выде­лить несколько рандомизированных групп и поставить их в различные эксперимен­тальные условия. Простейшим вариантом является план для трех групп и трех уровней независимой переменной:

Эксперимент 1: R Х1 О1

Эксперимент 2: R Х2 О2

Контроль: R О3

Контрольная группа в данном случае — это третья экспериментальная группа, для которой уровень переменной Х = 0.

При реализации этого плана каждой группе предъявляется лишь один уровень независимой переменной. Возможно и увеличение числа экспериментальных групп соответственно числу уровней независимой переменной. Для обработки данных, по­лученных с помощью такого плана, применяются те же статистические методы, что были перечислены выше.

Простые «системные экспериментальные планы», как ни удивительно, очень редко используются в современных экспериментальных исследованиях. Может быть, исследователи «стесняются» выдвигать простые гипотезы, помня о «сложно­сти и многомерности» психической реальности? Тяготение к использованию пла­нов с многими независимыми переменными, более того — к проведению многомер­ных экспериментов, не обязательно способствует лучшему объяснению причин че­ловеческого поведения. Как известно, «умный поражает глубиной идеи, а дурак — размахом строительства». Лучше предпочесть простое объяснение любому сложно­му, хотя регрессионные уравнения, где все всему равняется, и запутанные кор­реляционные графы могут произвести впечатление на некоторые диссертационные советы.

5.1.3 Факторные планы

Факторные эксперименты применяются тогда, когда необходимо проверить сложные гипотезы о взаимосвязях между переменными. Общий вид по­добной гипотезы: «Если А1, А2,..., Аn, то В». Такие гипотезы называются комплексными, комбинированными и др. При этом между независимыми переменными могут быть различные отношения: конъюнкции, дизъюнкции, линейной независимости, аддитивные или мультипликативные и др. Факторные эксперименты являются част­ным случаем многомерного исследования, в ходе проведения которого пытаются ус­тановить отношения между несколькими независимыми и несколькими зависимы­ми переменными. В факторном эксперименте проверяются одновременно, как пра­вило, два типа гипотез:

1) гипотезы о раздельном влиянии каждой из независимых переменных;

2) гипотезы о взаимодействии переменных, а именно — как присутствие одной из независимых переменных влияет на эффект воздействия на другой.

Факторный эксперимент строится по факторному плану. Факторное планирова­ние эксперимента заключается в том, чтобы все уровни независимых переменных сочетались друг с другом. Число экспериментальных групп равно числу сочетаний уровней всех независимых переменных.

Сегодня факторные планы наиболее распространены в психологии, поскольку простые зависимости между двумя переменными в ней практически не встречаются.

Существует множество вариантов факторных планов, но на практике применя­ются далеко не все. Чаще всего используются факторные планы для двух незави­симых переменных и двух уровней типа 2х2. Для составления плана применяет­ся принцип балансировки. План 2х2 используется для выявления эффекта воздей­ствия двух независимых переменных на одну зависимую. Экспериментатор манипу­лирует возможными сочетаниями переменных и уровней. Данные приведены в простейшей таблице (табл. 5.6).

Реже используются четыре независимые рандомизированные группы. Для обра­ботки результатов применяется дисперсионный анализ по Фишеру.

Так же редко используются другие версии факторного плана, а именно: 3х2 или 3х3. План 3х2 применяется в тех случаях, когда нужно установить вид зависимо­сти одной зависимой переменной от одной независимой, а одна из независимых переменных представлена дихотомическим параметром. Пример такого плана — эксперимент по выявлению воздействия внешнего наблюдения на успех решения интеллектуальных задач. Первая независимая переменная варьируется просто: есть наблюдатель, нет наблюдателя. Вторая независимая переменная — уровни трудно­сти задачи. В этом случае мы получаем план 3х2 (табл. 5.7).

Вариант плана 3х3 применяется в том случае, если обе независимые перемен­ные имеют несколько уровней и есть возможность выявить виды связи зависимой переменной от независимых. Этот план позволяет выявлять влияние подкрепления на успешность выполнения задании разной трудности (табл. 5.8).

Таблица 5.6

2-я переменная 1-я переменная
Есть Нет
Есть    
Нет    

 

Таблица 5.7

1-я переменная 2-я переменная
Легкая Средняя Трудная
Есть наблюдатель      
Нет наблюдателя      

 

Таблица 5.8

Уровень сложности задачи Интенсивность стимуляции
Низкая Средняя Высокая
Низкий      
Средний      
Высокий      

 

В общем случае план для двух независимых переменных выглядит как N х М. Применимость таких планов ограничивается только необходимостью набора боль­шого числа рандомизированных групп. Объем экспериментальной работы чрезмер­но возрастает с добавлением каждого уровня любой независимой переменной.

Планы, используемые для исследования влияния более двух независимых пере­менных, применяются редко. Для трех переменных они имеют общий вид L х М х N.

Чаще всего применяются планы 2х2х2: «три независимые переменные — два уровня». Очевидно, добавление каждой новой переменной увеличивает число групп. Общее их число 2, где п — число переменных в случае двух уровней интенсивности и К — в случае К -уровневой интенсивности (считаем, что число уровней одинаково для всех независимых переменных). Примером этого плана может быть развитие предыдущего. В случае, когда нас интересует успешность выполнения эксперимен­тальной серии заданий, зависящая не только от общей стимуляции, которая произ­водится в форме наказания — удара током, но и от соотношения поощрения и нака­зания, мы применяем план 3х3х3.

Таблица 5.9

    L1 L2 L3
М1 A1 В2 С3
М2 В2 С3 А1
м3 С3 А1 В2

 

Упрощением полного плана с тремя независимыми переменными вида L х М х N является планирование по методу «латинского квадрата». «Латинский квадрат» применяют тогда, когда нужно исследовать одновременное влияние трех перемен­ных, имеющих два уровня или более. Принцип «латинского квадрата» состоит в том, что два уровня разных переменных встречаются в экспериментальном плане только один раз. Тем самым процедура значительно упрощается, не говоря о том, что экспе­риментатор избавляется от необходимости работать с огромными выборками.

Предположим, что у нас есть три независимые переменные, с тремя уровнями каждая:

1. L1,L2,L3

2. М123

3. А, В, С

План по методу «латинского квадрата» представлен в табл. 5.9.

Такой же прием используется для контроля внешних переменных (контрбалан­сировка). Нетрудно заметить, что уровни третьей переменной N (А, В, С,) встреча­ются в каждой строке и в каждой колонке по одному разу. Комбинируя результаты по строкам, столбцам и уровням, можно выявить влияние каждой из независимых переменных на зависимую, а также степень попарного взаимодействия переменных.

«Латинский квадрат» позволяет значительно сократить число групп. В частно­сти, план 2х2х2 превращается в простую таблицу (табл. 5.10).

Применение латинских букв в клеточках для обозначения уровней 3-й перемен­ной (А — есть, В — нет) традиционно, поэтому метод назван «латинский квадрат».

Более сложный план по методу «греко-латинского квадрата» применяется очень редко. С его помощью можно исследовать влияние на зависимую переменную четырех независимых. Суть его в следующем: к каждой латинской группе плана с тремя переменными присоединяется греческая буква, обозначающая уровни четвер­той переменной.

Рассмотрим пример. У нас четыре переменные, каждая из которых имеет три уровня интенсивности. План по методу «греко-латинского квадрата» примет такой вид (табл. 5.11).

Для обработки данных применяется метод дисперсионного анализа по Фишеру. Методы «латинского» и «греко-латинского» квадрата пришли в психологию из агро­биологии, но большого распространения не получили. Исключением являются не­которые эксперименты в психофизике и психологии восприятия.

Главная проблема, которую удается решить в факторном эксперименте и невоз­можно решить, применяя несколько обычных экспериментов с одной независимой переменной, — определение взаимодействия двух переменных.

Таблица 5.10

2-я переменная 1-я переменная
Есть Нет
Есть А В
Нет В А

 

Таблица 5.11

    L1 L2 L3
М1 Аa Вb Сg
М2 Вb Сg Аa
М3 Сg Аa Вb

 


Рассмотрим возможные результаты простейшего факторного эксперимента 2х2 с позиций взаимодействий переменных. Для этого нам надо представить результаты опытов на графике, где по оси абсцисс отложены значения первой независимой пе­ременной, а по оси ординат — значения зависимой переменной. Каждая из двух пря­мых, соединяющих значения зависимой переменной при разных значениях первой независимой переменной (А), характеризует один из уровней второй независимой переменной (В). Применим для простоты результаты не экспериментального, а кор­реляционного исследования. Условимся, что мы исследовали зависимость статуса ребенка в группе от состояния его здоровья и уровня интеллекта. Рассмотрим вари­анты возможных отношений между переменными.

Первый вариант: прямые параллельны — взаимодействия переменных нет (рис. 5.1).

Больные дети имеют более низкий статус, чем здоровые, независимо от уровня интеллекта. Интеллектуалы имеют всегда более высокий статус (независимо от здо­ровья).

Второй вариант: физическое здоровье при наличии высокого уровня интеллекта увели­чивает шанс получить более высокий статус в группе(рис 5.2).

В этом случае получен эффект расходяще­гося взаимодействия двух независимых пере­менных. Вторая переменная усиливает влия­ние первой на зависимую переменную.

Третий вариант: сходящееся взаимо­действие — физическое здоровье уменьшает шанс интеллектуала приобрести более высо­кий статус в группе. Переменная «здоровье» уменьшает влияние переменной «интеллект» на зависимую переменную. Есть и другие случаи этого варианта взаимодействия:

переменные взаимодействуют так, что увеличение значения первой приводит к уменьшению влияния второй с изменением знака зависимости (рис. 5.3).

У больных детей, обладающих высоким уровнем интеллекта, меньше шанс полу­чить высокий статус, чем у больных детей с низким интеллектом, а у здоровых — связь интеллекта и статуса позитивная.

Теоретически возможно представить, что больные дети будут иметь больший шанс получить высокий статус при высоком уровне интеллекта, чем их здоровые низкоинтеллектуальные сверстники.

Последний, четвертый, возможный вариант наблюдаемых в исследованиях отно­шений между независимыми переменными: случай, когда между ними существует пересекающееся взаимодействие, представленное на последнем графике (рис. 5.4).

Итак, возможны следующие взаимодействия переменных: нулевое; расходя­щееся (с различными знаками зависимости); пересекающееся.

Оценка величины взаимодействия проводится с помощью дисперсионного ана­лиза, а t -критерий Стьюдента используется для оценки значимости различий груп­повых ` X.

Во всех рассмотренных вариантах планирования эксперимента применяется спо­соб балансировки: различные группы испытуемых ставятся в разные эксперимен­тальные условия. Процедура уравнивания состава групп позволяет производить сравнение результатов.

Однако во многих случаях требуется планировать эксперимент так, чтобы все его участники получили все варианты воздей­ствия независимых переменных. Тогда на по­мощь приходит техника контрбалансировки.

Планы, в которых воплощается стратегия «все испытуемые — все воздействия», Мак-Колл [McCall W. А., 1923] называет ротацион­ными экспериментами, а Кэмпбелл — «сба­лансированными планами». Чтобы не было путаницы между понятиями «балансировка» и «контрбалансировка», будем использовать термин «ротационный план».

Ротационные планы строятся по методу «латинского квадрата», но, в отличие от рассмотренного выше примера, по строкам обозначены группы испытуемых, а не уровни переменной, по столбцам — уровни воздействия первой независимой пере­менной (или переменных), в клеточках таблицы — уровни воздействия второй не­зависимой переменной.

Пример экспериментального плана для 3 групп (А, B, С) и 2 независимых пере­менных (X,Y) с 3 уровнями интенсивности (1-й, 2-й, 3-й) приводим ниже. Нетрудно заметить, что этот план можно переписать и так, чтобы в клеточках сто­яли уровни переменной Y (табл. 5.12).

Кэмпбелл включает этот план в число квазиэкспериментальных на основании того, что неизвестно, контролируется ли с его помощью внешняя валидность. Дей­ствительно, вряд ли в реальной жизни испытуемый может получить серию таких воздействий,как в эксперименте.

Что касается взаимодействия состава групп с другими внешними переменными, источниками артефактов, то рандомизация групп, согласно утверждению Кэмпбелла, должна минимизировать влияние этого фактора.

Суммы по столбцам в ротационном плане свидетельствуют о различиях в уровне эффекта при разных значениях одной независимой переменной (X или Y), а суммы по строкам должны характеризовать различия между группами. Если группы рандомизированы удачно, то межгрупповых различий быть не должно. Если же состав группы является дополнительной переменной, возникает возможность ее проконт­ролировать. Схема контрбалансировки не позволяет избежать эффекта тренировки, хотя данные многочисленных экспериментов с применением «латинского квад­рата» не позволяют делать такой вывод.

Таблица 5.12

Группа Уровни 1-й переменной
X1 X2 X3
А Y1 Y2 Y3
В Y2 Y3 Y1
С Y3 Y1 Y2

 

Подводя итог рассмотрению различных вариантов экспериментальных планов, предлагаем их классификацию. Экспериментальные планы различаются по таким основаниям:

1. Число независимых переменных: одна или больше. В зависимости от их числа применяется либо простой, либо факторный план.

2. Число уровней независимых переменных: при 2 уровнях речь идет об установле­нии качественной связи, при 3 и более — количественной связи.

3. Кто получает воздействие. Если применяется схема «каждой группе — своя ком­бинация», то речь идет о межгрупповом плане. Если же применяется схема «все группы — все воздействия», то речь идет о ротационном плане. Готтсданкер на­зывает его кросс-индивидуальным сравнением.

Схема планирования эксперимента может быть гомогенной или гетерогенной (в зависимости от того, равно или не равно число независимых переменных числу уровней их изменения).


1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 |

Поиск по сайту:



Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Студалл.Орг (0.015 сек.)