АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция

Тема 8. Процедура и основные характеристики психологического эксперимента

Читайте также:
  1. I. ОСНОВНЫЕ ПОНЯТИЯ (ТЕРМИНЫ) ЭКОЛОГИИ. ЕЕ СИСТЕМНОСТЬ
  2. I. Схема характеристики.
  3. I.3. Основные этапы исторического развития римского права
  4. II Съезд Советов, его основные решения. Первые шаги новой государственной власти в России (октябрь 1917 - первая половина 1918 гг.)
  5. II. Основные задачи и функции
  6. II. Основные показатели деятельности лечебно-профилактических учреждений
  7. II. Основные проблемы, вызовы и риски. SWOT-анализ Республики Карелия
  8. III. Анализ результатов психологического анализа 1 и 2 периодов деятельности привел к следующему пониманию обобщенной структуры состояния психологической готовности.
  9. IV. Механизмы и основные меры реализации государственной политики в области развития инновационной системы
  10. VI.3. Наследственное право: основные институты
  11. А) возникновение и основные черты
  12. А) ОСНОВНЫЕ УСЛОВИЯ ВЕРНОЙ ПЕРЕДАЧИ СЛОВ, ОБОЗНАЧАЮЩИХ НАЦИОНАЛЬНО-СПЕЦИФИЧЕСКИЕ РЕАЛИИ

Вопросы (30-39)

1. Организация и проведение экспериментального исследования (30)

2. Идеальный эксперимент и реальный эксперимент (31)

3. Реальный эксперимент и «эксперимент полного соответствия» (32)

4. Экспериментальная выборка (33)

5. Экспериментальный переменные и способы их контроля (34)

5.1.Независимая переменная (35)

5.2. Зависимая переменная (36)

5.3. Отношения между переменными (37)

5.4. Контроль переменных (38)

5.5. Определение внешней переменной (39)

Вопрос 1. ОРГАНИЗАЦИЯ И ПРОВЕДЕНИЕ ЭКСПЕРИМЕНТАЛЬНОГО ИССЛЕДОВАНИЯ

Прежде всего, обратимся к множеству психологических эмпирических методов. Рассмотрим их с позиций общенаучных критериев, предъявляемых к организации исследования.

Вспомним еще раз, что все методы, применяемые для получения эмпирического материала, можно условно разделить на активные и пассивные.

К первым относятся лабораторный эксперимент и его различные модификации, квазиэксперимент.

Ко вторым — наблюдение, клинический метод, метод анализа продуктов деятельности, измерение и корреляционные исследования, метод сбора информации (servey esearch), «архивное исследование» и т. д.

Применяя методы первой группы, исследователь активно вызывает явление или процесс, воздействуя на объект.

Используя же методы второй группы, он лишь довольствуется регистрацией естественного процесса.

Другое дело, что регистрировать поведение исследователь может непосредственно или применяя некоторый инструмент (опросник, тест и т. д.). Так же как и воздействовать на испытуемого он может непосредственно в ходе беседы либо орга­низуя деятельность обследуемого в лабораторном эксперименте с помощью иссле­довательских средств (приборов, заданий и т. д.). Это — второе «измерение» психо­логических эмпирических методов.

Таблица 1

Экспериментатор Испытуемый
Выполнение задачи Естественное поведение
Воздействует на процесс Эксперимент Беседа, опрос
Фиксирует естественный процесс Измерение Наблюдение

Существует и третье измерение: в какой мере экспериментатор использует есте­ственнонаучный подход к исследованию или «метод понимания» — непосредствен­ной интерпретации поведения испытуемого, его внутреннего мира путем эмпатии или построения модели психики испытуемого в своей субъективной реальности. В чем-то (но не во всем) это измерение психологических методов сходно с измере­нием «инструментальность — непосредственность».

Наблюдение тоже может быть инструментальным, например, при использова­нии видеозаписи, магнитофонной записи и другой аппаратуры. Однако, в отличие от измерительного корреляционного исследования, при этом отсутствует взаимо­действие испытуемого с инструментом, как при измерении (выполнении теста).

В эксперименте и в ходе измерения испытуемый активно выполняет задания, а при наблюдении и опросе никакой задачи ему не ставится, он ведет себя естествен­ным образом (табл. 1).

Существует еще один важный критерий (он разделяет методы организации ис­следования на две большие группы). Это — критерий соответствия метода призна­кам идеального исследования, как он понимается в современной методологии науки.

По этому критерию различаются методы организации исследования:

1.Экспериментальное исследование, систематическое наблюдение или кор­реляционное исследование.

Особенность их состоит в том, что исследователь пы­тается установить причинную или корреляционные связи между основными пере­менными, контролируя внешние переменные. Для этого он целенаправленно отби­рает группы испытуемых или наблюдаемых индивидов, планирует определенным образом последовательность своих действий.

2.Естественные эксперимент и наблюдение, беседа, клинический метод, ме­тод описания частных случаев и др.

Они применяются для выявления особенно­стей поведения человека. Служат источником для эмпирических обобщений и вы­движения индуктивных гипотез, которые в дальнейшем могут стать материалом для теоретических рассуждений и проверяться в критических экспериментах. Способы контроля переменных (независимой, зависимой, внешних) систематически не при­меняются, хотя возможно использование сложных техник фиксации данных (карт наблюдения, аудио- и видеоаппаратуры, тестов и др.).

3. Квазиэксперимент. «Промежуточный» между естественными методами проведения исследования и методами, где применяется строгий контроль переменных. Часто его отождествляют (в частности, Ф.-Дж. МакГиган) с методом систематического наблюдения, при котором экспериментатор не воздействует на исследуемый объект. Но такая точка зрения не оправданна. Другое дело, что воздействие может быть выделено в природе как независимое от исследователя, естественно происходящее, но в этом случае мы получаем исследовательский метод, занимающий именно промежуточное положение между экспериментом и наблюдением. Под квазиэкспериментом принято понимать такой метод, при котором не удается полностью реализовать схему, предписываемую идеальным исследованием, но эти отношения частично компенсируются использованием особых квазиэкспериментальных планов.

Согласно традиции, экспериментальное исследование противопоставляется всем неэкспериментальным методам, которые рассматриваются в методологии науки с точки зрения того, чего им недостает, чтобы стать полноценным экспериментальным исследованием.

Так, Ф.-Дж. МакГиган противопоставляет экспериментальный метод следую­щим:

1. классическому клиническому методу;

2. естественному наблюдению;

3. опросу;

4. архивному исследованию;

5. установлению корреляционной связи;

6. квазиэксперименту.

 

М. В. Мэтлин приводит иной список методов, противопоставляемых экспери­менту:

1. Естественное наблюдение, к которому примыкает полевое исследование и поле­вой (естественный) эксперимент.

2. Опрос (servey methods).

3. Корреляционное исследование.

4. Архивное исследование.

5. Изучение отдельных случаев (case-study method или case-history technique).

П. К. Козби противопоставляет эксперименту корреляционный метод, а также экспериментальные методы:

* опрос,

* полевое наблюдение и полевой эксперимент.

Отдельно он рассматривает методы измерения поведения, относя к ним: архивный метод, самооценку (самоопрос) и тестирование.

Экспериментальное исследование в психологии отличается от других методов тем, что экспериментатор активно манипулирует независимой переменной, тогда как при прочих методах возможны лишь варианты отбора уровней независимых переменных.

Нормальным вариантом экспериментального исследования является наличие основной и контрольных групп испытуемых.

В неэкспериментальных иссле­дованиях, как правило, все группы равноценны, поэтому проводится их сравнение.

По формальным основаниям выделяется несколько типов экспериментального исследования.

Различают: исследовательский (поисковый) и подтверждающий эксперимент.

Различие их обусловлено уровнем разработанности проблемы и наличием знаний о связи зависимой и независимой переменных.

1. Поисковый (эксплораторный) эксперимент проводится тогда, когда неизвестно, существует ли причинная связь между независимой и зависимой переменными. Поэтому поисковое исследование направлено на проверку гипотезы о наличии или отсутствии причинной зависимости между переменными А и В.

2. В случае, если существует информация о качественной связи между двумя пере­менными, выдвигается гипотеза о виде этой связи. Тогда исследователь проводит подтверждающий (конфирматорный) эксперимент, в котором выявляется вид функ­циональной количественной связи между независимой и зависимой переменными.

Алгоритм исследования в целом выглядит так:

1. Выдвигается гипотеза о качественной причинной связи А и В.

2. Проводится поисковый эксперимент.

3. В случае неподтверждения гипотезы выдвигается другая качественная гипотеза и проводится новый поисковый эксперимент; если же качественная гипотеза подтверждается, выдвигается количественная функциональная гипотеза.

4. Проводится подтверждающий эксперимент.

5. Принимается (или отвергается) и уточняется гипотеза о виде связи между пере­менными.

В психологической исследовательской практике для характеристики различных видов экспериментального исследования используются также понятия:

* «критиче­ский эксперимент»,

* «пилотажное исследование», или «пилотажный эксперимент»,

* «полевое исследование», или «естественный эксперимент».

3. В первой лекции, посвященной рассмотрению общенаучных методов, была дана ха­рактеристика критического эксперимента.

Он проводится для того, чтобы одновременно проверить все возможные гипотезы. Подтверждение одной из них ведет к опровержению всех других возможных альтернатив. Постановка критического экс­перимента в психологии требует не только тщательного его планирования, но и вы­сокого уровня разработки научной теории. Поскольку в нашей науке преобладают не дедуктивные модели, а эмпирические обобщения, исследователи крайне редко проводят критический эксперимент.

4. Термин «пилотажное исследование »

Применяется для обозначения пробного, первого эксперимента или серии экспериментов, в которых апробируются основная гипотеза, подходы к исследованию, план и т. д. Обычно пилотаж проводят перед «большим», трудоемким экспериментальным исследованием, чтобы потом не тра­тить деньги и время попусту. Пилотажное исследование проводится на меньшей выборке испытуемых, по сокращенному плану и без строгого контроля внешних пе­ременных. Надежность данных, получаемых в результате пилотажа, невелика, но его проведение позволяет устранить грубые ошибки, связанные с выдвижением ги­потезы, планированием исследования, контролем переменных и т. д, Кроме того, в ходе пилотажа можно сузить «зону поиска», конкретизировать гипотезу и уточнить методику проведения «большого» исследования.

5. Полевое исследование проводится для изучения связи между реальными пере­менными в повседневной жизни, например между статусом ребенка в группе и ко­личеством его контактов в игре со сверстниками или занимаемой им территории в игровой комнате.

По своей сути полевое исследование (или полевой эксперимент) относится к квазиэкспериментам, так как при его проведении нет возможности стро­го контролировать внешние переменные, отбирать группы и распределять внутри них испытуемых, управлять независимой переменной и точно регистрировать зави­симую переменую. Но в некоторых случаях «полевой», или естественный, экспери­мент — единственно возможный способ получения научной информации (в психо­логии развития, этологии, социальной психологии, в клинической психологии или психологии труда и т. д.).

Сторонники «естественного эксперимента» утверждают, что лабораторный эксперимент является искусственной процедурой, дает экологи­чески невалидные результаты, поскольку «вырывает» испытуемого из контекста повседневной жизни. Но в полевых исследованиях ошибок, помех, влияющих на точность и надежность данных, неизмеримо больше, чем в лабораторном исследова­нии. Поэтому психологи стремятся планировать естественный эксперимент таким образом, чтобы схема его проведения была максимально близка к схеме лаборатор­ного эксперимента, и перепроверяют результаты, полученные «в поле», более стро­гими процедурами.

Экспериментальное исследование в психологии, как и в любых других науках, проводится в несколько этапов. Часть из них обязательна, часть — в некоторых слу­чаях может отсутствовать, но последовательность шагов необходимо запомнить, чтобы не делать элементарных ошибок.

Приведем основные этапы психологического экспериментального исследования икратко рассмотрим их содержание.

1. Любое исследование начинается с определения его темы. Тема ограничивает область исследований, круг проблем, выбор предмета, объекта и метода, Однако первым этапом собственно исследования является первичная постановка пробле­мы. Исследователь должен уяснить себе, чем он неудовлетворен в современном психологическом знании, где он ощущает пробелы, какие теории дают противоречащие друг другу объяснения поведения человека и т. д.

Эмпирическое исследование проводится в трех основных случаях:

—проверка гипотезы о существовании явления;

—проверка гипотезы о существовании связи явлений;

—проверка гипотезы о причинной зависимости явления А от явления В.
Собственно эксперимент применяется только для обнаружения причинной свя­зи явлений.

*Что является основной причиной повышенной невротизации (синдром школьной дезадаптации) детей 6-7 лет в первые месяцы учебы в школе?

Возмож­ные варианты ответов: низкий уровень готовности к учебной деятельности (несформированность первичных учебных навыков), недостаточное развитие произвольно­сти, низкий уровень интеллекта, социально-психологические проблемы вхождения в классный коллектив и т. д.

Каждая из этих гипотез требует проверки, хотя все они кажутся обоснованными и правдоподобными.

2. После первичной постановки проблемы наступает этап работы с научной ли­тературой. Исследователь должен ознакомиться с экспериментальными данными, полученными другими психологами, и попытками объяснения причин заинтересо­вавшего его явления.

К услугам современного исследователя: компьютерные базы данных, сети Internet или Relcom и др., библиотеки, специализированные журналы.

Первичная работа начинается:

*с поиска определений базовых понятий, которые содержатся в психологических словарях, а также в словарях и энциклопедиях по смежным дисциплинам. Там же имеются и ссылки на основные публикации по про­блеме.

* Следующий шаг — составление библиографии по тематике исследования с помощью библиотечных систематических каталогов.

Предварительное знакомство с публикациями на тему исследования мож­но получить из реферативных журналов.

- В нашей стране (России) единственный журнал такого рода, издаваемый ВИНИТИ, — «0.4. Биология. Раздел 0.4.II. Психоло­гия».

- Из зарубежных изданий наиболее ав­торитетным является Psychological Abstract, выпускаемый Американской психологической ассоциацией. В нем со­держатся краткие аннотации на большин­ство работ, выходящих в англоязычных психологических журналах.

-Более подроб­ную информацию об исследованиях, отно­сящихся к выделенной проблеме, следует искать в самих публикациях: статьях науч­ных журналов, сборниках и монографиях.

Наиболее авторитетные психологические российские научные журналы:

· «Психологический журнал», издаваемый Российской академией наук;

· «Вопросы психоло­гии» — орган Российской академии образования;

· «Вестник МГУ, серия Психоло­гия», выпускаемый издательством МГУ;

· «Психологическое обозрение» — орган Российского психологического общества;

· «Школа здоровья», издаваемый Центром «Диагностика, адаптация, развитие» им. Л. С. Выготского;

· «Иностранная психоло­гия», издаваемый Институтом психологии РАН.

 

Вывод: Результат работы над литературным обзором — это уточнение проблемы, воз­никновение новой гипотезы и идеи плана экспериментального исследования. Воз­можно, что психолог и откажется от исследования, так как проблема может пока­заться неразрешимой или, наоборот, настолько исследованной, что ничего нового к имеющимся результатам добавить уже нельзя.

4. На следующем этапе происходит уточнение гипотезы и определение перемен­ных.

Первичная постановка проблемы уже скрыто предполагает варианты ответа на нее. Например, вопрос о том, что в большей мере — наследственность или среда — влияет на уровень развития общего интеллекта, ограничивает множество общих теоретических предположений. Аналогично, если поставить проблему — какой ана­лизатор выполняет функцию интегратора сенсорной информации на ранних стади­ях развития психики ребенка, — ответ будет ограничен списком анализаторных систем и «нулевым» ответом («никакой»).

Экспериментальная гипотеза, в отличие от теоретической, должна быть сформу­лирована в виде импликативного высказывания: «Если... то...». Кроме того, она должна быть конкретизирована и операционализирована. Это означает, что входя­щие в высказывание «если А, то В» переменные А и В должны контролироваться в эксперименте:

А — управляться экспериментатором, а

В — регистрироваться не­посредственно или с помощью аппаратуры.

Определение переменных в терминах экспериментальной процедуры и их операционализация завершают этап уточнения гипотезы.

Тем самым уточняется предмет экспериментального исследования: та сто­рона психики, на которую направлено экспериментальное воздействие и которая регулирует проведение, регистрируемое в ходе эксперимента.

Психическая реаль­ность всегда выступает в эксперименте «переменной-модератором», или «промежу­точной переменной».

Психолог управляет не психической реальностью, а внешними параметрами си­туации, воздействующими на психику испытуемого. Регистрируя независимую пе­ременную, он исходит из того, что между «переменной-модератором» и параметра­ми поведения существует функциональная (психорегулятивная) связь.

Это основ­ная общая гипотеза — предпосылка любого психологического эксперимента.

Следует отметить, что встречающиеся в ряде бюрократических документов тре­бования обязательно описать актуальность, научную новизну, практическую зна­чимость исследования, выделить его «цели», «задачи» и др. к организации и плани­рованию реальной научной работы никакого отношения не имеют.

Помимо независимой, зависимой переменных и «переменной-модератора» долж­ны быть определены и операционализированы внешние переменные, которые могут влиять на зависимую переменную.

4. Исследователь должен выбрать экспериментальный инструмент, который по­зволял бы ему:

а) управлять независимой переменной;

б) регистрировать зависимую переменную.

Речь идет о конкретной методике и аппаратуре психологического эксперимента.

Кроме того, условия эксперимента (помещение, ситуация, время и др.) должны либо элиминировать влияние внешних переменных, либо сохранять кон­стантность величины их воздействия на зависимую переменную.

Характер используемой аппаратуры определяется тем, какую методику выберет или сконструирует экспериментатор.

Пример: Исследование феномена полезависимости — поленезависимостиможет проводиться с помощью различных конкретных методик:

а) теста «Спрятанные фигуры»;

б) методики «Стержень — рамка» или «Крест — рамка»;

в) методики «Стержень — наклонная комната» и т. л.

В первом случае исследователь использует в работе карандаш, бланк теста Виткина—Готшальдта и секундомер.

Во втором случае лучше проводить автоматизиро­ванный эксперимент с помощью компьютера: предъявление стимульного материала реализуется на дисплее, а действия испытуемого регистрируются посредством джойстика.

Наконец, третий вариант требует специального оборудования — экспе­риментальной камеры.

В психологическом эксперименте может применяться самая разнообразная ап­паратура, в том числе психофизиологическая. Следует лишь избегать перегрузки испытуемого избыточными для исследования тестами.

К сожалению, в Украине не налажен выпуск аппаратуры для проведения психоло­гических экспериментальных исследований. Нет стандарта оборудования экспери­ментальных лабораторий. Выпуск тестовых методик также не удовлетворяет по­требности исследователей и практиков. Поэтому основная аппаратура либо изго­тавливается самостоятельно, кустарным способом, либо, если это возможно (пре­имущественно в психофизиологических исследованиях), используется медицинское оборудование и аппаратура для биофизических и психофизиологических исследо­ваний.

5. Планирование экспериментального исследования является центральным эта­пом всей процедуры.

В первую очередь речь идет о выделении внешних переменных, которые могут влиять на зависимую переменную. Планирование необходимо для обеспечения внешней и внутренней валидности эксперимента. Специалисты реко­мендуют многочисленные техники контроля внешних переменных (более подробно об этом см. вопрос 5 настоящей лекции).

Следующим шагом является выбор экспериментального плана. Какой план пред­почтительнее?

Ответ на этот вопрос зависит от следующего: какова экспериментальная гипотеза, какое число внешних переменных вы должны контролировать в экспери­менте, какие возможности предоставляет ситуация для проведения исследований и т. д.

При ограниченности времени и ресурсов (в том числе финансовых) выбирают максимально простые экспериментальные планы. Для проверки сложных гипотез, требующих управления несколькими независимыми переменными и/или учета многих дополнительных переменных, используют соответствующие усложненные планы.

Исследователь может проводить эксперимент при участии одного испытуемого. В этом случае он применяет какой-либо из планов исследования для одного испытуе­мого (single-subject research).

Если исследователь работает с группой, то он может выбрать ряд планов с использованием экспериментальной и контрольных групп. Простейшими являются планы для двух групп (основной и контрольной).

Если необходим более сложный контроль, применяются планы для нескольких групп.

Другой вариант, часто используемый в психологии, — факторные планы. Они используются, если требуется выявить влияние двух и более независимых переменных на одну зависимую. При этом независимые переменные могут иметь несколько уров­ней интенсивности. Простейшие факторные планы типа 2x2 или 2x2x2 предполагают использование двух и соответственно трех независимых переменных с двумяуровнями градации.

Существуют и более сложные экспериментальные планы.

Процессуальная классификация планов для исследования связи двух перемен­ных создана Д. Кэмпбеллом.

Основными являются:

*простой план для двух групп с предварительным тестированием (тест—воздействие—ретест);

*план для двух рандомизированных групп без предварительного тестирования (рандомизация—воздействие—тест);

*план Соломона для четырех групп, объединяющий оба этих плана. Они называются планами истинных экспериментов.

*В случае, если план истинного эксперимента реализовать невозможно или не нужно, исследователь применяет один из квазиэкспериментальных планов.

6.Отбор и распределение испытуемых по группам проводится в соответствии с принятым экспериментальным планом. Всю совокупность потенциальных испытуе­мых, которые могут быть объектами данного психологического исследования, обозначают как популяцию, или генеральную совокупность.

Множество людей или животных, принимающих участие в исследовании, называют выборкой. Состав экспериментальной выборки должен моделировать, представлять (репрезентировать) генеральную совокупность, поскольку выводы, получаемые в эксперименте, распространяются на всех членов популяции, а не только на представителей этой выборки.

Выбор популяции зависит от целей исследования.

Пример:

*Специалист по психогенетике выбирает в качестве испытуемых моно- и дизиготных близнецов, а также их родителей, дедушек и бабушек.

*Медицинский психолог при изучении агрессивного поведе­ния у лиц с синдромом посттравматического стресса исследует выборку ветеранов Афганской войны,

*Исследователь закономерностей оперантного научения проводит эксперименты на выборке крыс.

Все потенциальные испытуемые характеризуются:

· разным полом,

· возрастом,

· со­циальным положением,

· уровнем образования,

· состоянием здоровья и т. д.

Кроме того, они обладают различными индивидуально-психологическими особенностями, например разными уровнями интеллекта, нейротизма, агрессивности. Для того чтобы выборка представляла генеральную совокупность, потенциальным испытуемым должны быть предоставлены равные шансы стать реальными участниками исследования.

Техника рандомизации состоит в том, что всем представителям совокупно­сти присваивается индекс, а затем производится случайный отбор в группу необходимой численности для участия в эксперименте. В этом случае мы имеем три гpyппы:

1)всю генеральную совокупность;

2) группу рандомизации, из которой производится отбор;

3) экспериментальную рандомизированную выборку.

Одно из требований к выборке — репрезентативность. Выборка должна каче­ственно и количественно представлять генеральную совокупность, основные типы потенциальных испытуемых, существующие в популяции. Испытуемые должны быть правильно распределены по экспериментальной и контрольным группам, чтобы все группы были эквивалентными.

Кроме того, исследователь распределяет группы относительно разных условий эксперимента так, чтобы контролировать или учитывать возможные эффекты по­следовательности, дифференцированного переноса и др.

7. Проведение эксперимента является, очевидно, наиболее ответственной час­тью исследования, требующей от человека не только знаний и навыков, но и способ­ностей к экспериментированию. Любой самый лучший замысел можно испортить небрежным проведением эксперимента.

В ходе эксперимента исследователь:

* орга­низует процесс взаимодействия с испытуемым,

* зачитывает инструкцию,

* проводит, если это необходимо, обучающую серию.

* Он варьирует независимую переменную (задачи, внешние условия и др.),

* проводит сам или с помощью ассистента регистра­цию поведения испытуемого.

*Наконец, экспериментатор опрашивает испытуемого по окончании эксперимен­та (постэкспериментальное интервью).


1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 |

Поиск по сайту:



Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Студалл.Орг (0.018 сек.)