Модель метода главных компонент и ее сведение к задаче о сингулярных тройках

Метод главных— один из основных способов уменьшить размерность данных, потеряв наименьшее количество информации. Применяется во многих областях, таких как распознавание образов, компьютерное зрение, сжатие данных и т. п. Вычисление главных компонент сводится к вычислению собственных векторов и собственных значений ковариационной матрицы исходных данных.

Рассмотрим метод гл.компонент на простом примере.

Допустим, есть оценки студентов по неск.предметам:

Пусть i – номер студента, v – номер предмета, – оценка студента i по предмету v. И, допустим, существуют некоторые скрытые переменные, талант и нагрузки. Талант студента i обозначим , нагрузку предмета v обозначим .

Будем считать, что то, что мы наблюдаем порождено скрытыми переменными. Т.е., что оценку по предмету студент получает исходя из своего таланта и нагруженности:

Однако в реал.данных, поэтому необх.вводить ошибку:

(Миркин на паре исп. x, а в конспекте во всех формулах пишет y, говоря, что y это стандартизованный x)

Минимиз.ошибку, например сумму квадратом ошибок:

Однозначно эту задачу не решить, так как если z умножить, а с разделить на одно и тоже число, то ре-т не изменится.

Добавим ограничение нормы:

Перепишем в матричном виде

Из (1) можно сказать, что <=> есть собственное число матрицы , а - соб.вектор, из (2) => <=> есть соб.число матрицы , а - соб.вектор.

Эти матрицы положительно полуопределены.

Ранг равен рангу . Они имеют разное кол-во соб.чисел, но одинак кол-во не нулевых соб.чисел.

Если нам надо минимизировать , это означает, что надо максимизировать , потому что иксы заданы.

1. - максимально

2. - часть разброса данных, объясненных моделью

3. главная компонента , нагрузка

Если имеется k факторов, то

Решение - первые k сингулярных троек, если , M – диагональная.

В матлабе: [z, mu, c]=svd(x)

19. Соб.числа матриц и и их связь с сингулярными числами и векторами матрицы Y.

В наших обозначениях это соответственно матрицы и .

Чтобы объяснить значение некоторой зависимой переменной, нужно определить составляющие. Рассмотрим на конкретном примере. От чего зависит оценка конкретного студента по конкретному предмету?

(1)

Соответственно, i – номер студента (всего N), k – номер предмета (всего M), x_ik – оценка студента i по предмету k (завис.переменная), z_i – степень таланта студента i (скрытая вел-на, не можем ее померять), с_k – нагрузка предмета k.

В уравнении (1) в левой части N * M известных, а в правой N + M неизвестных. Слишком много уравнений, мало неизвестных, поэтому введем невязки (как я понимаю, это просто ошибки) и формируем задачу оптимизации:

(2)

(3)

Эта задача свелась к задаче о сингулярных тройках:

(4)

В системе (4) - сингулярное число, а - сингулярная тройка для матрицы X (переводят пр-ва друг в друга!).

Нас интересует максимальное сингулярное число, тогда L ² будет минимальным. Как найти сингулярные числа, сколько их? Чтобы ответить на этот вопрос, домножим обе части первого уравнения в системе (4) на :

*Предпоследнее равенство получено из второго уравнения системы (4). Таким образом, имеем результат:

Если - сингулярная тройка для X, тогда - собственное число матрицы ,а с – её собственный вектор.

Аналогично можно получить:

Если - сингулярная тройка для X, тогда - собственное число матрицы ,а z – её собственный вектор.

Эти матрицы симметричны и положительно полуопределены, их собственные числа неотрицательны, а собственные векторы взаимно ортогональны. Собственных чисел будет столько, какой ранг у матрицы, соответственно, сингулярных троек столько же. Матрицы имеют разное количество собственных чисел, но одинаковое количество ненулевых собственных чисел.

Если сингулярных троек больше, чем k, решениями будут являться первые k, если соответствующие упорядочить по невозрастанию.

Поиск по сайту: