Вращение факторов и интерпретация результатов

татья является второй частью материала, посвященного факторному анализу. В первой части рассмотрены основные задачи метода и процесс выделения факторов: Факторный анализ.

После выделения факторов (или компонент при использовании метода PCA) решается еще одна — третья задача факторного анализа: вращение факторов. Его основная цель – максимизация высоких корреляций и минимизация низких, что позволяет сделать факторную модель более интерпретируемой: чтобы каждый фактор имел явно выраженную связь небольшим набором переменных, а не оказывался «размазанным» по многим.

В настоящее время существует достаточно много методов вращения, но наиболее популярным из них является метод варимакс, который максимизирует дисперсию факторных нагрузок внутри каждого фактора, делая большие нагрузки еще больше, а малые — еще меньше. Для этого используется специальная ортогональная матрица преобразования (обозначим ее R):

где \textbf{A} — матрица факторных нагрузок до поворота, а \textbf{A}' — после поворота. Тогда для рассмотренного выше примера получим:

\textbf{A}'=\begin{bmatrix} -0.400 & 0.900 \\ 0.251& -0.947 \\ 0.932& 0.348 \\ 0.956& 0.286 \end{bmatrix}\begin{bmatrix} 0.946 & -0.326 \\ 0.326 & 0.946 \end{bmatrix}\approx \begin{bmatrix} -0.085 & 0.982 \\ -0.071 & -0.978 \\ 0.995 & 0.025 \\ 0.998 & -0.041 \end{bmatrix}

Сравнение матриц до и после поворота показывает, что в результате вращения высокие по модулю нагрузки стали ближе к единице (0.995 вместо 0.932, 0.982 вместо 0.900 и 0.998 вместо 0.956, −0.978 вместо −0.947), а низкие по модулю — ближе к нулю (−0.085 вместо −0.400, −0.071 вместо 0.251, 0.025 вместо 0.348 и −0.041 вместо 0.286). Подчеркивание различий между нагрузками облегчает интерпретацию факторов и позволяет однозначно определить связанные с ними переменные.

Элементы матрицы преобразования имеют специальную геометрическую интерпретацию:

\textbf{R}=\textbf{R}=\begin{bmatrix} cos\varphi & -sin\varphi \\ sin \varphi & cos\varphi \end{bmatrix}

Матрица преобразования \textbf{R} — это ортогональная матрица вращения в двумерном евклидовом пространстве, т.е. матрица синусов и косинусов угла\varphi, на который производится поворот осей вокруг начала координат факторного пространства. В нашем примере этот угол составляет примерно 19 градусов, поскольку cos19^{\circ }\approx 0.946, а sin19^{\circ }\approx 0.326.

Таким образом, варимакс должен обеспечивать, чтобы для каждого фактора было как можно меньшее число переменных с высокими нагрузками (близкими к 0 или к 1), а каждая переменная имела высокую нагрузку только на один фактор. Один из вариантов формальной записи преобразования имеет вид:

R_{varimax}=\underset{\mathbf{R}}{\operatorname{arg,max}} \left[\frac{1}{m}\displaystyle\sum_{j=1}^{k}\displaystyle \sum_{i=1}^{m}\left((\mathbf{A}\mathbf{R}){ij}\right)^4-\displaystyle\sum{j=1}^{k} \left(\frac{1}{m}\displaystyle \sum_{i=1}^{m}\left((\mathbf{A}\mathbf{R})_{ij}\right)^2\right)^2\right] ,

где \textbf{A}— исходная матрица факторных нагрузок, \textbf{R} — матрица вращения, k — число факторов, m — число переменных.

В результате ортогонального вращения факторы становятся проще и понятнее для интерпретации.

Общности, объясненная дисперсия и ковариация

Ранее были упомянуты такие базовые понятия факторного анализа, как общности, дисперсия и ковариация. Теперь для лучшего понимания их роли в процессе факторного анализа и взаимосвязи между ними, рассмотрим их более подробно.

Общность переменной — дисперсия, рассчитанная с помощью факторных нагрузок. Это квадратичная множественная корреляция переменной, предсказанная факторной моделью. Общность вычисляется как сумма квадратов факторных нагрузок для данной переменной по всем факторам. Например, для матрицы факторных нагрузок из нашего примера, полученной после поворота, общность для переменной «Стоимость тура» составит C_{1}=(-0.085)^{2}+0.981^{2}\approx 0.971. Т.е. первый и второй факторы «объясняют» 97% дисперсии стоимости тура. Доля дисперсии фактора по всем переменным – это сумма квадратов нагрузок по фактору, деленная на число переменных:

D_{1}=\left[ (-0.085)^{2}+(-0.071)^{2}+0.995^{2}+0.998^{2} \right]/4\approx 0.50,

D_{2}=\left[ (0.982)^{2}+(-0.978)^{2}+0.025^{2}+(-0.041)^{2} \right]/4\approx 0.48.

То есть первый фактор объясняет 50% общей дисперсии переменных, второй — 48%, а оба вместе — 98%. Сведем результаты анализа в таблицу.

Доля дисперсии, объясняемая фактором, или доля объясненной ковариации, — это сумма квадратов факторных нагрузок, деленная на сумму общностей (сумму квадратов нагрузок по переменным). Первый фактор объясняет приблизительно 51% ковариации (1.998/3.914\approx 0.509); второй — 49% (1.916/3.914\approx 0.489); два фактора вместе объясняют всю ковариацию:0.509+0.489\approx 0.998\approx 1.

Воспроизведенную корреляционную матрицу можно вычислить при помощи уравнения:

\hat{\textbf{R}}=\begin{bmatrix} -0.085 & 0.982 \\ -0.071 & -0.978 \\ 0.995 & 0.025 \\ 0.998 & -0.041 \end{bmatrix}\begin{bmatrix} -0.085 & -0.071 & 0.995 & 0.998 \\ 0.982 & -0.978 & 0.025 & -0.041 \end{bmatrix}=\begin{bmatrix} 0.972 & -0.954 & -0.061 & -0.126 \\ -0.954 & 0.962 & -0.095 & -0.031\\ -0.061 & -0.095 & 0.991 & 0.992 \\ -0.126 & -0.031 & 0.992 & 0.998 \end{bmatrix}

Видно, что воспроизведенная матрица несколько отличается от исходной (т.е. той, на основе которой вычислялись собственные векторы и собственные значения в процессе факторного анализа). Разность между исходной корреляционной матрицей и воспроизведенной, называется остаточной матрицей \textbf{R}_{ост}=\textbf{R}-\hat{\textbf{R}}

\textbf{R}_{ост}=\begin{bmatrix} 1.000 & -0.953 & -0.055 & -0.130 \\ -0.953 & 1.000 & -0.091 & -0.036 \\ -0.055 & -0.091 & 1.000 & 0.990 \\ -0.130 & -0.036 & 0.990 & 1.000 \end{bmatrix}-\begin{bmatrix} 0.972 & -0.954 & -0.061 & -0.126 \\ -0.954 & 0.962 & -0.095 & -0.031 \\ -0.061 & -0.095 & 0.991 & 0.992 \\ -0.126 & -0.031 & 0.992 & 0.998 \end{bmatrix}=

=\begin{bmatrix} 0.028 & 0.001 & 0.006 & -0.004 \\0.001 & 0.038 & 0.004 & -0.005 \\0.006 & 0.004 & 0.009 & -0.002 \\-0.004 & -0.005 & -0.002 & 0.002\end{bmatrix}.

По остаточной матрице можно судить о результатах факторного анализа в целом: при хорошем факторном решении элементы остаточной матрицы должны быть близки к нулю (что и имеет место).

Методы вращения факторного пространства

Выделенные факторы во многих случаях достаточно трудно интерпретировать. Ранее было отмечено, что для получения более осмысленного и легко интерпретируемого решения рекомендуется использовать вращение факторной системы координат. При этом следует помнить, что с математической точки зрения решения, отличающиеся друг от друга только поворотом, эквивалентны: вращение не улучшает соответствие воспроизведенной корреляционной матрицы исходной.

Подобно тому, как различные методы вычисления факторов при хорошем наборе данных в большинстве случаев дают сходные результаты, различные методы вращения при верном определении корреляционной структуры, как правило, дают сходные результаты. Другими словами, при хорошей факторизации устойчивое решение с большой степенью вероятности будет так или иначе получено независимо от того, какой из видов вращения использовался.

Прежде всего, следует выбрать вид вращения — ортогональное или косоугольное. В первом случае факторы остаются ортогональными друг другу, т.е. независимыми. Ортогональное решение легче поддается интерпретации и описанию. Но если аналитическая задача не предполагает независимости факторов, такое вращение может исказить реальность. Если аналитик уверен, что факторы коррелируют друг с другом, он должен использовать косоугольное вращение, которое имеет концептуальные преимущества, но на практике не очень удобно для интерпретации, описания и изложения результатов.

Ортогональное вращение — поворот

Варимакс, квартимакс и эквимакс — три наиболее популярных варианта ортогонального вращения. Они реализованы в большинстве статистических пакетов. Цель вращения варимакс — выбор наиболее простого факторного решения путем максимизации дисперсии факторных нагрузок переменных по каждому фактору (высокие факторные нагрузки после вращения еще более повышаются, а низкие понижаются). В результате становится более очевидным, какие переменные и с какими факторами в наибольшей степени взаимосвязаны, и интерпретация сильно упрощается.

Кроме того, при варимакс-вращении доли дисперсий, объясняемые факторами, перераспределяются в сторону выравнивания. Дисперсии у первых факторов уменьшаются и за счет этого увеличиваются у следующих (суммарная дисперсия остается постоянной). В итоге дисперсии, объясняемые каждым фактором, в какой-то степени выравниваются.

Если варимакс работает с факторами, то квартимакс — с переменными. В результате переменные упрощаются за счет увеличения дисперсии факторных нагрузок по каждой переменной. Другими словами, при вращении методом варимакс изменения происходят в столбцах матрицы факторных нагрузок, а при квартимакс — в рядах.

Метод эквимакс, занимающий промежуточное положение между варимаксом и квартимаксом, одновременно упрощает и факторы, и переменные. Однако этот тип вращения имеет смысл использовать только тогда, когда вы уже точно определились с выбором количества факторов для вашей модели.

Следует отметить, что метод варимакс используется по умолчанию в большинстве статистических и аналитических пакетов. Но в некоторых из них применяются собственные разработки, использующие различные встроенные формулы, позволяющие адаптировать поворот к особенностям решаемой задачи, числу переменных и факторов (например, ортомакс и парсимакс в SAS).

Косоугольное вращение

В исходной постановке факторный анализ предполагает, что факторы независимы (т.е. соответствующие собственные векторы ортогональны). Тем не менее, в некоторых задачах анализа независимость факторов не является строгим условием и тогда вместо ортогонального вращения используется косоугольное. Поэтому косоугольное вращение позволяет снять ограничение некоррелированности факторов.

Геометрическая интерпретация ортогонального вращения

Для лучшего понимания идеи ортогонального вращения вернемся к «туристическому» примеру. Ранее вычислили матрицу факторных нагрузок \textbf{A}. На ее основе составим таблицу точек в факторной системе координат.

\textbf{A}=\begin{bmatrix} -0.400 & 0.900 \\ 0.251 & -0.947 \\ 0.932 & 0.348 \\ 0.956 & 0.286 \end{bmatrix}.

С точки зрения геометрии вращение выполняется таким образом, чтобы новые оси проходили через области скопления точек данных.

Вращение факторов

После поворота координаты точек в факторном пространстве (матрица \textbf{A}') примут следующие значения:

\textbf{A}=\begin{bmatrix} -0.085 & 0.982 \ \-0.071 & -0.978 \\ 0.995 & 0.025 \ \0.998 & -0.041 \end{bmatrix}

Геометрически факторизация дает возможность представить все наблюдаемые переменные как векторы, выходящие из начала координат и заканчивающиеся в точке координатной плоскости, определяемой значениями ее факторных нагрузок. Тогда квадрат длины вектора будет равен значению общности этой переменной. Если факторы ортогональны, то факторные оси составляют друг с другом прямые углы, и координаты точки, соответствующей переменной, являются показателями взаимосвязи между общими факторами и этой переменной. По графикам легко определить факторные нагрузки, проведя перпендикуляры к каждой из осей.

Необходимость вращения объясняется тем, что оно помогает реализовать главную цель методов главных компонент и факторного анализа — определить минимальное количество факторных осей, необходимых для достоверного нахождения позиций переменных. Чтобы реализовать эту цель, необходимо проинтерпретировать факторные оси. Вращение факторных осей в максимальной степени облегчает их интерпретацию. Изменение положения осей изменяет только координаты точек-переменных, сохраняя их взаимное расположение.

Фактор обычно легче интерпретировать, когда несколько переменных имеют по нему высокие факторные нагрузки, а нагрузки всех остальных переменных по этому фактору незначительны. В идеале хотелось бы, чтобы каждая переменная имела одну единственную высокую факторную нагрузку, т.е. была включена в интерпретацию только одного фактора. Геометрически это означает, что точка, которая соответствует переменной, имеющей достаточно удаленную от нуля координату по какой-то из осей, по всем остальным осям должна лежать очень близко к началу координат.

Когда мы имеем дело только с одной наблюдаемой переменной, процедура выбора направления факторной оси становится тривиальной: эта ось, содержащая единственный вектор-переменную, задает одномерное пространство. Однако в случае многих переменных и нескольких факторов расположение факторных осей требует определенного компромисса. Сильно взаимосвязанные друг с другом переменные в геометрическом пространстве образуют некоторое скопление («облако») близких между собой точек.

Цель поворота в таком случае можно определить как проведение оси через эти скопления точек. Точнее, необходимо расположить ось так, чтобы «облако» точек тянулось вдоль нее как можно дольше. При удачном стечении обстоятельств, когда все скопления переменных-точек расположены относительно друг друга под углом 90°, получается ортогональное решение. А если, к тому же, скоплений мало и все остальное пространство между ними пусто, проинтерпретировать оси-факторы не составляет никакого труда.

При косоугольном вращении мы сталкиваемся с более сложной ситуацией. Поскольку допускается, что факторы могут быть взаимосвязаны друг с другом, угол между осями не обязательно должен быть прямым. И хотя легче проводить оси так, чтобы каждому скоплению точек соответствовала только одна ось, тем не менее, может получиться, что какие-то оси окажутся проведенными очень близко друг к другу (сильно взаимосвязанными) и решение будет очень трудно интерпретировать.

Выбор числа факторов

Основной целью применения PCA является сокращение числа переменных, которые будут использоваться для дальнейшего анализа. Поэтому возникает вопрос: сколько факторов следует использовать? Например, следует ли оставить только первые две компоненты, поскольку они объясняют почти половину общей изменчивости исходного набора данных, или сохранить все компоненты, поскольку они объясняют 100% изменчивости?

Однако в этом случае нам не удастся снизить размерность пространства признаков. Как правило, выбор является следствием компромисса. Рассмотрев таблицу собственных значений, несложно увидеть, что две последние компоненты объясняют менее 15% дисперсии. Возможно, это и будут компоненты, которые не следует учитывать при анализе?

Для ответа на этот вопрос разработано множество критериев, наиболее популярными из которых являются:

• критерий собственных значений (критерий Кайзера);
• критерий доли объясненной дисперсии;
• критерий «каменной осыпи».

Критерий собственных значений — критерий Кайзера

В основе критерия лежит задание порогового значения, при котором все компоненты с собственными значениями выше этого порога включаются в рассмотрение, а остальные исключаются. Использование данного критерия целесообразно тогда, когда каждая компонента объясняет как минимум дисперсию одной переменной, то есть имеет связанную с ней достаточно высокую нагрузку (например, больше 0.5).

Практика показывает, что если число переменных менее 20, критерий собственных значений имеет склонность рекомендовать выбор слишком большого числа компонент, а если больше 50, то слишком малого.

Разновидность критерия собственных значений, в котором порог отсечения равен 1, также известна как критерий Кайзера. Критерий предложен американским психологом Генри Феликсом Кайзером в 1960 году. На практике это один из наиболее широко используемых методов определения числа факторов. Он означает, что если фактор не объясняет дисперсию, эквивалентную как минимум дисперсии одной переменной, то должен быть исключен из рассмотрения.

Недостатком критерия Кайзера является то, что он не учитывает контекст данных, что может привести к потере потенциально интересных факторов с собственными значениями меньше 1. Кроме этого, неясно, как поступать в пограничных случаях, когда, например, собственное значение одного фактора 1.01 должно быть включено, а другого 0.99 — нет. Поэтому критерий Кайзера часто применяют в комбинации с другими методами определения числа выделяемых факторов.

Критерий доли объясненной дисперсии

Сначала аналитик задает долю дисперсии, которую должны объяснить главные компоненты. Затем просто отбирают главные компоненты одну за другой, пока не будет достигнута заданная доля. Например, предположим, что аналитик хочет объяснить 70% дисперсии исходных переменных. Следовательно, из списка компонент следует выбрать компоненты 1–4, которые вместе объясняют 72% дисперсии. Если требуется объяснить 90% дисперсии, к уже выбранным компонентам следует добавить пятую и шестую компоненты, что даст возможность объяснить 93% дисперсии.

Однако по-прежнему остается открытым вопрос: сколько именно надо? Ответ во многом зависит от области исследования. Так, в гуманитарных областях достаточно 60–70%. В то же время в естественных науках желательно 90–95%, поскольку современные измерительные средства обеспечивают высокую точность, а потеря информации при сокращении размерности может быть существенной. Есть и другие факторы, влияющие на выбор.

Например, если главные компоненты используются в дескриптивных целях, таких как построение профилей клиентов, доля объясненной дисперсии может быть ниже, чем в других случаях. С другой стороны, если главные компоненты используются при замещении исходного набора данных для дальнейшего моделирования, то доля объясненной дисперсии должна быть как можно больше.

Критерий «каменной осыпи» — критерий Кеттелла

В данном критерии строится график, на котором по горизонтальной оси откладываются номера компонент, а по вертикальной — собственные значения. Поскольку линия на таком графике всегда убывает и представляет собой ломаную, аналогия с каменной осыпью в названии метода вполне уместна.

Выбор числа факторов

Такая форма графика характерна тем, что первая главная компонента объясняет наиболее значительную долю дисперсии, следующие несколько компонент — также достаточно большую ее часть, а последние — крайне незначительную долю.

Критерий формулируется следующим образом: следует использовать те факторы, которые расположены в части графика с наиболее интенсивным снижением. Факторы, расположенные в части графика, которая снижается медленно (почти горизонтальна), следует отбросить. На рисунке граница отсечки – третья компонента, поэтому оставить следует 1–3.

Важно учитывать, что окончательное решение о количестве выделяемых факторов должно основываться не только на статистических критериях, но и на способности аналитика дать им содержательную интерпретацию.

Таким образом, операция вращения позволяет упростить интерпретацию факторов за счет более четкого выделения переменных, связанных с каждым из них, а также сделать факторы более понятными и однозначными для последующего анализа с целью выявления скрытых закономерностей в данных.

Другие материалы по теме:

Факторный анализ

Повышение объяснимости моделей искусственного интеллекта