主成分分析

概要

「固有値問題」の応用の1つとして、主成分分析を紹介。

記号の準備

これから説明する主成分分析は、 N 個のベクトル x₁ , x₂ , ・・・, x_N に対して、その線形結合

y ＝

∑

i＝1

a_i x_i

を考えます。 N 個の線形結合を考えて、

y _i ＝

∑

j＝1

a_{i j} x_j

として考える場合もあります。ベクトル x_i の次元は特に限定しませんが、内積が定義できるベクトル空間の元であることを仮定します。

N 個のベクトル列 x₁ , x₂ , ・・・, x_N を、1まとめにして、

X ＝ (x₁ x₂ ・・・ x_N)

と表現します。 x_i が M 次の縦ベクトルの場合には、これは M×N 行列に相当します。また、係数 a_{i j} も行列として表現します。

a _i ＝ ( a_{i 1} , a_{i 2} , ・・・, a_{i N})^T

A ＝ {a_{i j}} ＝ (a₁ , a₂ , ・・・, a_N)

この記法に従うなら、先ほどの線形結合の式は、

y _i ＝ X a_i

Y ＝ X A 　　ただし、 Y ＝ (y₁ y₂ ・・・ y_N)

となります。また、2つのベクトル x_i, x_j の内積を

( x _i , x_j)

で表します。そして、ベクトル列 X の相関行列（correlation matrix） R_X を

R_X ＝ X^T X ＝ {(x_i , x_j)}

と定義します。（ベクトル/行列の右肩の ^T は転置を表します。） X の各ベクトル x_i の次元がなんであれ、 R_X は N 次の正定値で対称な正方行列になります。ちなみに、Y ＝ X A のとき、

R_Y ＝ Y^T Y ＝ A^T X^T X A ＝ A^T R_X A

と表すことができます。

主成分分析にはいくつか表現のしかたがあります。（結局は同じ式、同じ結果に帰着。）

線形結合結果の絶対値最大化

1つ目は、ベクトル列 X の線形結合

y ＝

∑

i＝1

a_i x_i ＝ X a

に対して、 |a|² ＝ 1 という制約条件化で、 y の絶対値 (y, y) の値を最大化したいというものです。その結果得られるベクトル y は、 N 個のベクトル列 X ＝ x₁ , x₂ , ・・・, x_N を最もよく代表する1本のベクトルと考えることができます。「最もよく代表するベクトル」という意味で、 y をベクトル列 X の（第一）主成分と呼びます。主成分の求め方ですか、条件付極値問題になりますので、ルジャンドルの未定乗数法を使って、

( y, y) － λ (|a|² － 1 ) ＝ a^T R_X a － λ (|a|² － 1 )

の極値問題に帰着されます。したがって、この式を、a の各要素で微分することで、

R_X a ＝ λ a , 　　　|a|² ＝ 1

という条件が得られ、相関行列 R_X の固有値問題に帰着されます。

N 次正方行列の固有値問題の解は N 個ありますが、このうち、 (y, y) を最大化するという条件を満たすのは、絶対値が最大の固有値に属する固有ベクトルです。

ちなみに、最大固有値以外の固有ベクトルを用いても同様に y に相当する物が得られるわけですが、これを、固有値が大きい順に第一主成分、第二主成分・・・と呼びます。

ベクトル列の直交化

もう1つの考え方としては、ベクトル列 X を、直交変換 A によって直交したベクトル列 Y に変換するという考え方です。要するに、

Y ＝ X A

というベクトル列 X → ベクトル列 Y の変換において、 A^T A ＝ I （I は N 次単位行列）という制約の元、 Y^T Y ＝ R_Y を対角化したいというものです。（対角化の問題は、結局の所、固有値問題になります。）まず、R_Y が対角行列になって欲しいわけで、これを

R_Y ＝ diag{(y_i , y_i)}

と書きます。（ただし、diag{λ_i} は、 i 行 i 列の対角成分が λ_i であるような対角行列。）このとき、 Y ＝ X A のとき、 R_Y ＝ A^T R_X A なので、

diag { ( y _i , y_i) } ＝ A^T R_X A

となります。また、A が直交変換、すなわち、A^－1 ＝ A^T という条件から、

R_X A ＝ A diag{(y_i , y_i)}

が得られます。これを、A に関して列ごとに書き下すと、

R_X a_i ＝ (y_i , y_i) a_i , 　　　|a_i|² ＝ 1

となり、やはり、相関行列 R_X の固有値問題に帰着されます。（このとき、 (y_i , y_i) は R_X の固有値になる。）ただし、固有値が 0 のときは a_i ＝ 0 とします。この際に得られる、固有ベクトルは、固有値の大きい物から順にならべておく習慣があります。すなわち、

( y ₁ , y₁) ＞ (y₂ , y₂) ＞・・・＞ (y_N , y_N)

となるように、 a₁ , a₂ , ・・・, a_N を並べます。

まとめ

要するに、以下のような手順でベクトル列 X をベクトル列 Y に変換する手法を 主成分分析（principal component analysis）と呼びます。

Xの「相関行列」R_Xの固有値・固有ベクトルを求める。
求めた固有ベクトルを、固有値が大きい順にa₁ , a₂ , ・・・, a_N と並べる。このとき、各固有ベクトルは絶対値を 1 に正規化しておく。（|a_i| ＝ 1）
Xを、行列 A ＝ (a₁ , a₂ , ・・・, a_N)を使って変換する。Y ＝ X A。

このとき、以下のことが成り立ちます。

Aは直交変換。すなわち、i ≠ jのとき、a_i^Ta_j ＝ 0。また、逆変換はX ＝ Y A^Tと表せる。
Yの各列y_iは互いに直交。すなわち、i ≠ jのとき、(y_i , y_j) ＝ 0。
y _i はベクトル列Xの第 i 主成分。

ちなみに、ベクトル列 X が互いに強い相関を持っているような場合、 y_i の絶対値は、極端に第一主成分 y₁ に偏ります。逆に、X が互いに弱い相関を持つ場合、 y_i の絶対値には偏りが少なくなります。

また、N 個のベクトルのうち、線形独立なベクトルが M （M ＜ N）本しかない場合、 y_i は M 個目までが非0で、残りは零ベクトルになります。

確率変数の主成分分析

主成分分析の考え方は、内積、あるいは、内積に類する性質の演算を定義できる線形空間なら何にでも適用できます。

その一例として、確率変数の主成分分析について少し触れておきます。ベクトルの内積の代わりに、確率変数に対しては共分散を用います。（ベクトルの直交性は、確率変数の場合は相関性にあたる。直交＝無相関。） 2つの確率変数 x, y の共分散

Cov [x, y] ＝ E[xy] － E[x]E[y]

（E[x] は x の期待値。）を用いて、 N 個の確率変数の列 x₁ , x₂ , ・・・, x_N の共分散行列 C_X を以下のように定義します。

C_X ＝ {Cov[x_i , x_j]}

そして、共分散行列 C_X の固有値問題を解くことで、前節で述べたベクトルの主成分分析と同様の議論が可能です。このような手法を確率変数の主成分分析といいます。