АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция

ЛОГИКА ДОКАЗАТЕЛЬСТВА В ПСИХОЛОГО-ПЕДАГОГИЧЕСКОМ ЭКСПЕРИМЕНТЕ

Читайте также:
  1. Аудио- видеозаписи как доказательства
  2. Аудиторские доказательства
  3. Бесконечнозначная логика как обобщение многозначной системы Поста
  4. Биохимические доказательства эволюции.
  5. Вещественные доказательства
  6. ВОПРОС 3. ИСПЫТУЕМЫЙ: ЕГО ДЕЯТЕЛЬНОСТЬ В ЭКСПЕРИМЕНТЕ
  7. Воспроизвести основные доказательства бытия Бога. Классические доказательства бытия Божия.
  8. Глава 1. О ДОКАЗАТЕЛЬСТВАХ
  9. Доказательства бытия Бога
  10. Доказательства в административном процессе
  11. Доказательства генетической роли нуклеиновых кислот
  12. Доказательства животного происхождения человека. Качественные отличия человека от животных.

Доказательство экспериментальной гипотезы состоит из трех основных компонентов: фактов, аргументов и демонстрации справедливости предложенной гипотезы, вытекающей из этих аргументов и фактов.

Факты и аргументы, как правило, представляют собой идеи, истинность которых уже проверена или доказана. В силу этого они могут без специального доказательства их справедливости приводиться в обоснование истинности или ложности гипоте-


Часть II. Введение в научное психологическое исследование

зы. Демонстрация — это совокупность логических рассуждений, в процессе которых из аргументов и фактов выводится справед­ливость гипотезы.

Для того чтобы доказательство было убедительным, в нем так­же необходимо следовать определенным правилам. Одно из них гласит: гипотеза, аргументы и факты должны быть суждениями, ясно и точно определенными. В противном случае оно может быть опровергнуто или подвергнуто сомнению.

Доказываемое положение — в нашем случае гипотеза — на всем протяжении доказательства должно оставаться тождествен­ным, т.е. одним и тем же. Нарушение этого правила обычно ве­дет к тому, что, несмотря на затраченные усилия, гипотеза оста­ется недоказанной.

Факты и аргументы, приводимые в процессе доказательства - гипотезы, не должны противоречить друг другу, так как это так­же сводит доказательство на нет. Необходимо строго следить за тем, чтобы соблюдалось следующее правило: аргументы и фак­ты, приводимые в подтверждение гипотезы, сами должны быть истинными и не подлежать сомнению.

Часто встречающаяся ошибка в доказательстве заключается в том, что экспериментально установленная последовательность событий или фактов, их статистически достоверная связь (кор­реляция) ошибочно принимаются за свидетельство существова­ния причинно-следственной зависимости между этими события­ми или фактами. Например, из того, что за некоторым событием А всегда и неизменно следует другое событие Б (скажем, за вес­ной — лето; за положением часовой стрелки на цифре 1 — ее пе­реход на цифру 2), нередко делают вывод о том, что предшествую­щее событие является причиной наступления последующего (что в приведенных выше примерах, очевидно, неверно). Причинной считается такая зависимость, при которой появление события А не только неизбежно ведет за собой появление события Б, но и само событие Б может явиться лишь тогда, когда до него уже име­ло место событие А. В двух приведенных выше примерах это не так. Вполне можно представить себе такой случай, что часы ос­тановятся после того, как стрелка окажется на цифре 1, и тогда она не попадет на цифру 2; может случиться экологическая ката-


_____ Глава 2. Виды научных психолого-педагогических исследований _

строфа, которая сделает климат постоянным, например, превра­тит его в вечную зиму или в вечное лето, и в этом случае законо­мерная смена времен года не наступит. В том и в другом приме­рах подлинные причины последовательного появления событий находятся вне тех событий, которые мы рассматриваем; они-то и придают закономерный характер временной последовательнос­ти этих событий.

Ошибки могут иметь место не только в доказательстве, но и в интерпретации связей как причинно-следственных, и для того, чтобы избежать подобных ошибок, рекомендуется организовы­вать и проводить психолого-педагогический эксперимент в со­ответствии с одной из заранее продуманных логических схем до­казательства, гарантирующих установление именно причинно-следственных зависимостей между изучаемыми переменными.

Основная логическая схема, позволяющая добиться такого ре­зультата, довольно простая. Она включает в себя проведение ис­следования не на одной, а на двух и более группах испытуемых, одна из которых является экспериментальной, а друше — конт­рольными. При этом экспериментальная группа предназначает­ся для установления достоверных статистических зависимостей между изучаемыми переменными, а контрольные группы — для того, чтобы, сравнивая получаемые в них результаты с теми, ко­торые установлены на экспериментальной группе, отклонять аль­тернативные причинно-следственному объяснения выявленной статистической зависимости. В простейшем случае реализации этой схемы берутся одна экспериментальная и одна контроль­ная группы. В экспериментальной группе выделяется и целенап­равленно изменяется переменная, которая рассматривается как вероятная причина объясняемого явления, а в контрольной груп­пе ничего этого не происходит. По завершении эксперимента оце­ниваются и сравниваются между собой изменения, которые в экс­периментальной и контрольной группах произошли в другой пе­ременной — зависимой, и если окажется, что в эксперименталь­ной группе эти изменения больше, чем в контрольной, то делает­ся вывод о том, что подлинной их причиной являются именно те вариации независимой переменной, которые имели место в экс­периментальной группе.


______ Часть II. Введение в научное психологическое исследование ___

Существует несколько вариантов практической реализации этой общей схемы. Рассмотрим их.

1. Метод единственного различия. Схематически он пред­ставляется следующим образом:



 


В данном случае фиксируется единственное различие между экспериментальной и контрольной группами по признаку Г, ко­торое по завершении эксперимента приводит к появлению един­ственного различия по признаку Е. На этом основании делается вывод о том, что изменение Г и есть причина замеченных изме­нений в Е.

2. Метод сопутствующих изменений (обобщенный вариант метода единственного различия).



 


Если, варьируя величину признака Г, мы неизменно получа­ем изменения только одного признака Е, то Г можно рассматри­вать в качестве наиболее вероятной причины Е.

3. Метод единственного сходства.

если при разноооразных вариациях признаков неизменным остается единственное сходство (в данном случае: Г—»Е), то со­ставляющие его переменные рассматриваются как причина (Г) и следствие (Е).

Для того, чтобы получаемые в экспериментальной и конт­рольной группах результаты были сопоставимыми, необходимо, чтобы эти группы по существенным признакам были эквивален­тными, т.е. такими, в которых уравнено влияние всех других ре­левантных переменных, кроме предполагаемой причины.


Глава 2. Виды научных психолого-педагогических исследований

Помимо общих логических схем, следование которым в орга­низации и проведении эксперимента помогает выявлению при­чинно-следственных связей, этой же цели могут служить планы экспериментов. Таких основных планов имеется два:

1. Эксперимент, организованный по плану типа «только после».

В подобного рода исследовании экспериментальные и конт­рольные группы оцениваются только по окончании эксперимента и не оцениваются в его начале. Если в итоге обнаруживается су­щественная разница между экспериментальной и контрольной группами, не имевшая место вначале, то можно сделать вывод о том, что отмеченные после эксперимента различия между этими группами были вызваны именно теми экспериментальными дей­ствиями, которые предпринимались в отношении эксперимен­тальной группы. Однако в этом случае в качестве альтернатив­ной остается и требует специального опровержения гипотеза о том, что изначально экспериментальная и контрольные группы не были одинаковыми, что и вызвало зафиксированные между ними различия по окончании эксперимента.

2. Эксперимент, организованный по плану типа «до и после».

В данном случае предполагаемые причины и следствия оце­ниваются и до, и после эксперимента и делается это как в экспе­риментальной, так и в контрольной группах. Тем самым заранее отбрасывается альтернативная гипотеза о том, что обнаружен­ные по окончании эксперимента различия между эксперимен­тальной и контрольной группами были вызваны теми различия­ми между ними, которые имелись еще до начала проведения экс­перимента.

Контрольные вопросы

1. Виды психолого-педагогических исследований и их осо­бенности.

2. Отличие экспериментального психолого-педагогическо­го исследования от всех остальных исследований.

3. Взаимосвязь и преемственность разных видов психолого-педагогических исследований.

 

4. Что такое цели, задачи и гипотезы эксперимента?

5. Логические требования, предъявляемые к гипотезам экс­периментального психолого-педагогического исследования.


Часть II. Введение в научное психологическое исследование

6. Ошибки в доказательствах, направленных на выяснение причинно-следственных связей между переменными, изу­чаемыми в эксперименте.

7. Способы избежать ошибок в доказательстве существова­ния причинно-следственной зависимости между перемен­ными.

8. Логика организации и проведения экспериментов, направ­ленных на доказательство причинно-следственных связей.

9. Экспериментальная и контрольная группы, их назначе­ние в психолого-педагогическом эксперименте.

ДОПОЛНИТЕЛЬНАЯ ЛИТЕРАТУРА

1. Фресс П., Пиаже Ж. Экспериментальная психология. Вып. I и II.
М., 1966.

[Формулировка гипотез: 116-120. Эксперимент: 120-148. На­блюдение (как метод экспериментального исследования): 106-115. Обработка и обобщение результатов (эксперимента): 148-193].

2. Роговин М.С. Психологическое исследование. Ярославль, 1979.

3. Роговин М.С, Залевский Г.В. Теоретические основы психоло­гического и патопсихологического исследования. Томск, 1988.

4. СочивкоД.В., Якунин В.А. Математические модели в психолого-педагогических исследованиях: Учебное пособие. Л., 1988. (Постановка проблемы. Предмет, объект и задачи исследования: 40-42. Проведение пилотажного исследования: 42-48. Общие сведения о планировании эксперимента: 56-62.)

Глава 3.

СТАТИСТИЧЕСКИЙ АНАЛИЗ

ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ И СПОСОБЫ

НАГЛЯДНОГО ПРЕДСТАВЛЕНИЯ РЕЗУЛЬТАТОВ

Краткое содержание

Методы первичной статистической обработки результатов эксперимен­та. Общее представление о методах статистического анализа эксперименталь­ных данных, назначение этих методов. Деление статистических методов на


______ Глава 3. Статистический анализ экспериментальных данных ___

первичные и вторичные. Основные показатели, получаемые в результате пер­вичной обработки экспериментальных данных. Вычисление средней арифме­тической. Определение дисперсии. Установление примерного распределения данных. Определение моды. Характеристика нормального распределения. Вы­числение интервалов.

Методы вторичной статистической обработки результатов эксперимента. Способы вторичной статистической обработки результатов исследования. Ре­грессионное исчисление. Сравнение средних величин разных выборок. Срав­нение частотных распределений данных. Сравнение дисперсий двух выборок. Установление корреляционных зависимостей и их интерпретация. Понятие о факторном анализе как методе статистической обработки.

Способы табличного и графического представления результатов экспе­римента. Виды таблиц и их построение. Графическое представление экспери­ментальных данных. Гистограммы и их применение на практике.

МЕТОДЫ ПЕРВИЧНОЙ СТАТИСТИЧЕСКОЙ ОБРАБОТКИ РЕЗУЛЬТАТОВ ЭКСПЕРИМЕНТА

Методами статистической обработки результатов экспери­мента называются математические приемы, формулы, способы количественных расчетов, с помощью которых показатели, по­лучаемые в ходе эксперимента, можно обобщать, приводить в си­стему, выявляя скрытые в них закономерности. Речь идет о та­ких закономерностях статистического характера, которые су­ществуют между изучаемыми в эксперименте переменными ве­личинами.

Некоторые из методов математико-статистического анализа позволяют вычислять так называемые элементарные матема­тические статистики, характеризующие выборочное распреде­ление данных, например выборочное среднее, выборочная диспер­сия, мода, медиана и ряд других. Иные методы математической статистики, например дисперсионный анализ,регрессионный ана­лиз, позволяют судить о динамике изменения отдельных статис­тик выборки. С помощью третьей группы методов, скажем, кор­реляционного анализа, факторного анализа, методов сравнения выборочных данных, можно достоверно судить о статистических связях, существующих между переменными величинами, кото­рые исследуют в данном эксперименте.


______ Часть II. Введение в научное психологическое исследование ___

Все методы математико-статистического анализа условно де­лятся на первичные и вторичные1. Первичными называют мето­ды, с помощью которых можно получить показатели, непосред­ственно отражающие результаты производимых в эксперимен­те измерений. Соответственно под первичными статистически­ми показателями имеются в виду те, которые применяются в са­мих психодиагностических методиках и являются итогом на­чальной статистической обработки результатов психодиагности­ки. Вторичными называются методы статистической обработки, с помощью которых на базе первичных данных выявляют скры­тые в них статистические закономерности.

К первичным методам статистической обработки относят, на­пример, определение выборочной средней величины, выбороч­ной дисперсии, выборочной моды и выборочной медианы. В чис­ло вторичных методов обычно включают корреляционный ана­лиз, регрессионный анализ, методы сравнения первичных ста­тистик у двух или нескольких выборок.

Рассмотрим методы вычисления элементарных математичес­ких статистик, начав с выборочного среднего.

Выборочное среднее значение как статистический показатель представляет собой среднюю оценку изучаемого в эксперименте психологического качества. Эта оценка характеризует степень его развития в целом у той группы испытуемых, которая была под­вергнута психодиагностическому обследованию. Сравнивая не­посредственно средние значения двух или нескольких выборок, мы можем судить об относительной степени развития у людей, составляющих эти выборки, оцениваемого качества.

Выборочное среднее определяется при помощи следующей формулы:

1 Приводимые здесь определения и высказывания не всегда являются до­статочно строгими с точки зрения теории вероятностей и математической ста­тистики как сложившихся областей современной математики. Это сделано для лучшего понимания данного текста студентами, не подготовленными в облас­ти математики:


______ Глава 3. Статистический анализ экспериментальных данных ___

где х — выборочная средняя величина или среднее арифметичес­кое значение по выборке; п — количество испытуемых в выбор­ке или частных психодиагностических показателей, на основе ко­торых вычисляется средняя величина; хк — частные значения по­казателей у отдельных испытуемых. Всего таких показателей п, поэтому индекс k данной переменной принимает значения от 1 до п; Е — принятый в математике знак суммирования величин тех переменных, которые находятся справа от этого знака. Выра­жение X хк соответственно означает сумму всех х с индексом k от

1 до п.

Пример. Допустим, что в результате применения психодиаг­ностической методики для оценки некоторого психологическо­го свойства у десяти испытуемых мы получили следующие част­ные показатели степени развитости данного свойства у отдель­ных испытуемых: xi = 5, х2 = 4, х3 = 5, х4 = 6, х5 = 7, *6 = 3, х7 = 6, х& = 2, хд= 8, хт = 4. Следовательно, п = 10, а индекс k меняет свои значения от 1 до 10 в приведенной выше формуле. Для данной выборки среднее значение1, вычисленное по этой формуле, бу­дет равно:

В психодиагностике и в экспериментальных психолого-пе­дагогических исследованиях среднее, как правило, не вычисля­ется с точностью, превышающей один знак после запятой, т.е. с большей, чем десятые доли единицы. В психодиагностических обследованиях большая точность расчетов не требуется и не име­ет смысла, если принять во внимание приблизительность тех оце­нок, которые в них получаются, и достаточность таких оценок для производства сравнительно точных расчетов.

Дисперсия как статистическая величина характеризует, на­сколько частные значения отклоняются от средней величины в данной выборке. Чем больше дисперсия, тем больше отклонения

1 В дальнейшем, как это и принято в математической статистике, с целью сокращения текста мы будем опускать слова «выборочное» и «арифметичес­кое» и просто говорить о «среднем» или «среднем значении».


______ Часть II. Введение в научное психологическое исследование ____

или разброс данных. Прежде чем представлять формулу для рас­четов дисперсии, рассмотрим пример. Воспользуемся теми пер­вичными данными, которые были приведены ранее и на основе которых вычислялась в предыдущем примере средняя величи­на. Мы видим, что все они разные и отличаются не только друг от друга, но и от средней величины. Меру их общего отличия от средней величины и характеризует дисперсия. Ее определяют для того, чтобы можно было отличать друг от друга величины, име­ющие одинаковую среднюю, но разный разброс. Представим се­бе другую, отличную от предыдущей выборку первичных значе­ний, например такую: 5, 4, 5, 6, 5, 6, 5, 4, 5, 5. Легко убедиться в том, что ее средняя величина также равна 5,0. Но в данной вы­борке ее отдельные частные значения отличаются от средней го­раздо меньше, чем в первой выборке. Выразим степень этого отличия при помощи дисперсии, которая определяется по следую­щей формуле:



 


где S — выборочная дисперсия, или просто дисперсия;



— выражение, означающее, что для всех хк от перво-


го до последнего в данной выборке необходимо вычислить раз­ности между частными и средними значениями, возвести эти раз­ности в квадрат и просуммировать;

п — количество испытуемых в выборке или первичных зна­чений, по которым вычисляется дисперсия.


 

Определим дисперсии для двух приведенных выше выборок частных значений, обозначив эти дисперсии соответственно ин­дексами 1 и 2:'


______ Глава 3, Статистический анализ экспериментальных данных ___

Мы видим, что дисперсия по второй выборке (0,4) значитель­но меньше дисперсии по первой выборке (3,0). Если бы не было дисперсии, то мы не в состоянии были бы различить данные вы­борки.

Иногда вместо дисперсии для выявления разброса частных дан­ных относительно средней используют производную от дисперсии величину, называемую выборочное отклонение. Оно равно квадрат­ному корню, извлекаемому из дисперсии, и обозначается тем же

самым знаком, что и дисперсия, только без квадрата— S:

Медианой называется значение изучаемого признака, кото­рое делит выборку, упорядоченную по величине данного призна­ка, пополам. Справа и слева от медианы в упорядоченном ряду остается по одинаковому количеству признаков. Например, для выборки 2, 3, 4, 4, 5, 6, 8, 7, 9 медианой будет значение 5, так как слева и справа от него остается по четыре показателя. Если ряд включает в себя четное число признаков, то медианой будет сред­нее, взятое как полусумма величин двух центральных значений ряда. Для следующего ряда 0, 1,1, 2, 3, 4, 5, 5, 6, 7 медиана будет равна 3,5.

Знание медианы полезно для того, чтобы установить, явля­ется ли распределение частных значений изученного признака симметричным и приближающимся к так называемому нормаль­ному распределению. Средняя и медиана для нормального рас­пределения обычно совпадают или очень мало отличаются друг от друга. Если выборочное распределение признаков нормаль­но, то к нему можно применять методы вторичных статистичес­ких расчетов, основанные на нормальном распределении данных. В противном случае этого делать нельзя, так как в расчеты могут вкрасться серьезные ошибки.

Если в книге по математической статистике, где Описывает­ся тот или иной метод статистической обработки, имеются ука­зания на то, что его можно применять только к нормальному или близкому к нему распределению признаков, то необходимо не-


______ Часть II. Введение в научное психологическое исследование ___

укоснительно следовать этому правилу и полученное эмпиричес­кое распределение признаков проверять на нормальность. Если такого указания нет, то статистика применима к любому распре­делению признаков. Приблизительно судить о том, является или не является полученное распределение близким к нормальному, можно, построив график распределения данных, похожий на те, которые представлены на рис. 72. Если график оказывается бо­лее или менее симметричным, значит, к анализу данных можно применять статистики, предназначенные для нормального рас­пределения. Во всяком случае, допустимая ошибка в расчетах в данном случае будет относительно небольшой.

Приблизительные картины симметричного и несимметрич­ного распределений признаков показаны на рис. 72, где точками mi и т2 на горизонтальной оси графика обозначены те величины

признаков, которые соответствуют медианам, а х\ и Х2 — те, ко­торые соответствуют средним значениям.

Рис. 72. Графики симметричного и не­симметричного распределения при­знаков: I — симметричное распределе­ние (все относящиеся к нему элемен­тарные статистики обозначены с по­мощью индекса 1); II — несимметрич­ное распределение (его первичные ста­тистики отмечены на графике индек­сом 2).

Мода еще одна элементар­ная математическая статистика и характеристика распределе­ния опытных данных. Модой называют количественное зна­чение исследуемого признака, наиболее часто встречающееся в выборке. На графиках, пред­ставленных на рис. 72, моде со­ответствуют самые верхние точки кривых, вернее, те значе­ния этих точек, которые распола­гаются на горизонтальной оси. Для симметричных распреде­лений признаков,' в том числе для нормального распределе­ния, значение моды совпадает со значениями среднего и меди­аны. Для других типов распре­делений, несимметричных, это не характерно. К примеру, в по­следовательности значений признаков 1,2, 5,2,4, 2,6,7,2 модой


Глава 3. Статистический анализ экспериментальных данных

является значение 2, так как оно встречается чаще других значе­ний — четыре раза.

Иногда исходных частных первичных данных, которые под­лежат статистической обработке, бывает довольно много, и они требуют проведения огромного количества элементарных ариф­метических операций. Для того чтобы сократить их число и вмес­те с тем сохранить нужную точность расчетов, иногда прибегают к замене исходной выборки частных эмпирических данных на интервалы. Интервалом называется группа упорядоченных по ве­личине значений признака, заменяемая в процессе расчетов сред­ним значением.

Пример. Представим следующий ряд частных признаков: О, 1,1,2,2,3,3,3,4,4,5,5,5,5,6,6,6,7,7,8,8,8,9,9,9,10,10,11,11, 11. Этот ряд включает в себя 30 значений. Разобьем представ­ленный ряд на шесть подгрупп по пять признаков в каждом. Пер­вая подгруппа включит в себя первые пять цифр, вторая — сле­дующие пять и т.д. Вычислим средние значения для каждой из пяти образованных подгрупп чисел. Они соответственно будут равны 1,2; 3,4; 5,2; 6,8; 8,6; 10,6. Таким образом, нам удалось свести исходный ряд, включающий тридцать значений, к ряду, содер­жащему всего шесть значений и представленному средними ве­личинами. Это и будет интервальный ряд, а проведенная проце­дура — разделением исходного ряда на интервалы. Теперь все статистические расчеты мы можем производить не с исходным рядом признаков, а с полученным интервальным рядом, и ре­зультаты в равной степени будут относиться к исходному ряду. Однако число производимых в ходе расчетов элементарных арифметических операций будет гораздо меньше, чем количест­во тех операций, которые с этой же целью пришлось бы проде­лать в отношении исходного ряда признаков. На практике, со­ставляя интервальный ряд, рекомендуется руководствоваться следующим правилом: если в исходном ряду признаков больше чем тридцать, то этот ряд целесообразно разделить на пять-шесть интервалов и в дальнейшем работать только с ними.

Для проверки сказанного проведем пробное вычисление сред­него значения по приведенному выше ряду, составляющему трид­цать чисел, и по ряду, включающему только интервальные сред-


Часть II. Введение в научное психологическое исследование

ние значения. Полученные цифры с точностью до двух знаков после запятой будут соответственно равны 5,97 и 5,97, т.е. явля­ются одинаковыми.


1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 | 39 | 40 | 41 | 42 | 43 | 44 | 45 | 46 | 47 | 48 | 49 | 50 | 51 | 52 | 53 | 54 | 55 | 56 | 57 | 58 | 59 | 60 | 61 | 62 | 63 | 64 | 65 | 66 | 67 | 68 | 69 | 70 | 71 | 72 | 73 | 74 | 75 | 76 | 77 | 78 | 79 | 80 | 81 | 82 | 83 | 84 | 85 | 86 | 87 | 88 | 89 | 90 | 91 | 92 | 93 | 94 | 95 | 96 | 97 | 98 | 99 | 100 | 101 | 102 | 103 | 104 | 105 | 106 | 107 | 108 | 109 | 110 |

Поиск по сайту:



Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Студалл.Орг (0.012 сек.)