ベクトルと行列　固有値と固有ベクトル

n次の正方行列Ｚとn次元ベクトルｘについて次のような関係が成り立つ時、スカラー係数λを行列Ｚの固有値(eigen valueまたはcharacteristic value)、ｘを固有ベクトル(eigen vectorまたはcharacteristic vector)といいます。

第6章で説明したように、行列はある座標系から見たベクトルを別の座標系から見たベクトルに変換する演算子の役目をします。したがって固有ベクトルとは座標変換の前後で大きさだけが変わり、方向が変わらないベクトルということになります。ただし固有値は負の場合もあるので、実際には座標変換の前後でベクトルの方向が反対になることもあります。しかしこれはベクトルの符号を変えただけであり、方向は変わらないと広義に解釈します。

行列[Ｚ−λＩ_n]の逆行列が存在する時、(9.2)式は成り立ちません。したがって[Ｚ−λＩ_n]の逆行列が存在しない、つまりこの行列を特異にする時のλが固有値ということになります。特異な行列の行列式は0になるので、次のような方程式の根が固有値になります。

この方程式を固有方程式(eigen equationまたはcharacteristic equation)といい、左辺つまりψ_z(λ)＝｜Ｚ−λＩ_n｜を固有多項式(eigen polynomialまたはcharacteristic polynomial)といいます。例えば次のような行列の固有値を求めてみましょう。

固有ベクトルについては、(9.1)式より次のようになります。

この方程式の解は不定になり、x₁とx₂の比率だけが求められ具体的な値は求められません。これは固有ベクトルの特徴であり、1次元の(9.2)式を解いてみるとそれがよくわかります。

つまり固有値とは(9.2)式のｘを不定にする値ということになります。不定といっても、2次元以上の時は上例のようにｘの成分間の関係式だけは求められます。したがって前例の固有ベクトルは次のような式で表わされることになります。

この式で表される固有ベクトル全体は、n次元ベクトル空間中に部分空間を作ります。それを固有空間(eigen spaceまたはcharacteristic space)といいます。固有空間は対応する固有値が重根ではない時は1次元部分空間になり、重根の時はその重複度と同じ次元の部分空間になります。固有空間のαとβの値を決めてやれば、具体的な固有ベクトルを求めることができます。例えばα＝β＝1とすると、具体的な固有ベクトルは次のようになります。

検算のためにこれらを(9.1)式に代入すると次のようになり、確かに式を満足しています。

第7章で説明したように、この座標変換の座標軸はＺの逆行列の成分ベクトルに対応します。そこでＺの逆行列と成分ベクトルを求めると次のようになります。

この成分ベクトルｚ₁は図5.2のベクトルｚ₁の成分を２分の１にしたものであり、ｚ₂は図5.2のｚ₂の成分を2分の1にし、さらに方向を反対にしたものに相当します。したがってこれらのベクトルに対応する座標軸は、基本的な座標軸を45度回転し、さらにそれをｚ₁に対応する座標軸を中心にして上下をひっくり返したものに対応します。

少々わかりにくいですが、図9.1において、固有ベクトルｘ₁とx₁軸の角度はx₁軸とy₁軸の角度の半分になっており、固有ベクトルｘ₂とx₂軸の角度はx₂軸とy₂軸の角度の半分になっています。そのためｘ₁をx₁−x₂の座標系から見た時もy₁−y₂の座標系から見た時も方向は変わりません。またｘ₂については対応する固有値が負なので変換の前後で符号が変わり、ｘ₂をx₁−x₂の座標系から見た時と、−ｘ₂をy₁−y₂の座標系から見た時が同じ方向になります。

一般に固有ベクトルは単位ベクトル化することが多く、その場合はα＝β＝１とした時の固有ベクトルの大きさを計算し、その逆数をあらためてαとβとして固有ベクトルを求めます。

2) 固有値と固有ベクトルの性質

固有値と固有ベクトルは応用範囲が非常に広く、統計学だけでなく色々な分野で重要な役目を果たしています。そのため固有値問題としてこれだけで独立した研究分野のようになっていて、多くの性質が明らかにされています。その中から、主として統計学に役立つものを中心にして紹介しましょう。

・Ｚをn次の(実)正方行列とする。
・Ｚの成分が全て実数でも、固有値は複素数になることがある。例えば、
　

　∴λ＝1±i
・Ｚが正則の場合、0ではない固有値は固有方程式の重根を繰り返し数えてn個存在する。
・Ｚの階数rank{Ｚ}は0ではない固有値の数と一致する。
・Ｚの固有値をλ₁、…、λ_i、…、λ_nとすると、次のような式が成り立つ。
　

　……　(9.4)
　

　……　(9.5)
　＜例＞
　

・Ｚのお互いに異なる固有値をλ₁、…、λ_mとすると、それに対応する固有ベクトルｘ₁、…、ｘ_mは1次独立であり、m次元部分空間の基底になる。
　例えば図9.1のｘ₁とｘ₂は2次元部分空間の基底になっている。
・Ｚがお互いに異なるn個の固有値λ₁、…、λ_i、…、λ_nを持つ時、それに対応する固有ベクトルをｘ₁、…、ｘ_i…、ｘ_nとすると次のような関係が成り立つ。
　

　……　(9.6)
　例えば、　

・Ｚの固有値λ₁、…、λ_i、…、λ_nが全て実数で、かつＺが正規の時、適当な正規直交行列Ｐを用いて次のように変換することができる。
　

　……　(9.7)
　固有値がお互いに異なる時、Ｐは単位ベクトル化した固有ベクトルを列ベクトルとして並べたものを用いることができる。
・Ｚが対称行列の時、固有値は全て実数になる。
・対称行列Ｚの固有値は全て実数で、かつＺは正規行列になるので、(9.7)式を満足するような正規直交行列Ｐが必ず存在する。例えば、
　

・対称行列Ｚの階数rank{Ｚ}は非負の固有値の数と一致する。
・対称行列Ｚのお互いに異なる固有値をλ₁、λ₂とすると、それに対応する固有ベクトルｘ₁、ｘ₂は直交し、かつＺに関して共役(conjugate)になる。
　ｘ₁'ｘ₂＝0　(直交)
　ｘ₁'Ｚｘ₂＝0　(Ｚに関して共役)
　＜例＞
　

　ｘ₁'ｘ₂＝1×1−(√2−1)(√2＋1)＝1−1＝0
　ｘ₁'Ｚｘ₂＝［√2　-(√2−2)］ｘ₂＝√2＋(√2−2)(√2＋1)＝0
・対称行列Ｚがお互いに異なるn個の固有値λ₁、…，λ_nを持つ時、それに対応する固有ベクトルｘ₁、…、ｘ_nはn次元ベクトル空間の直交基底になる。
・対称行列Ｚはn個の固有値λ₁、…、λ_i、…、λ_nと、n個の正規直交基底ｘ₁、…、ｘ_i…、ｘ_nを用いて次のように分解できる。これをＺのスペクトル分解(spectral resolusion)という。
　

　　‖ｘ_i‖＝1 　　ｘ_i'ｘ_j＝0 (i≠j)
　

　Ｚ＝λ₁ｘ₁ｘ₁'＋…＋λ_iｘ_iｘ_i'＋…＋λ_nｘ_nｘ_n'＝ＰΛＰ'　……　(9.8)
　固有値がお互いに異なる時、単位ベクトル化した固有ベクトルを正規直交基底として用いることができる。例えば、
　

・対称行列Ｚは、固有値の符号によって次のような呼び方をすることがある。

固有値が全て正の時　　…　正定値行列または正定符号
固有値が全て非負の時　…　非負定値行列または非負定符号
固有値が全て負の時　　…　負定値行列または負定符号
固有値が全て非正の時　…　非正定値行列または非正定符号

・対称行列Ｚが非負定符号になるための必要十分条件は、次のような正方行列Ｘが存在することである。
　Ｚ＝Ｘ'Ｘ
・対称行列Ｚが正定符号になるための必要十分条件は、前項の正方行列Ｘが正則になることである。

3) 固有値と固有ベクトルの計算法

行列が5次以上の時、(9.3)の固有方程式は5次以上の方程式になり、代数的に根を求めることができなくなります。そこで固有値と固有ベクトルを近似的に求める方法が色々と考案されています。そのうち多変量解析でよく利用されるベキ乗法(power method)を紹介しましょう。 _(注1)

行列のスペクトル分解の式(9.8)より、n次の対称行列Ｚをk乗すると次のようになります。

λ₁を最大根とすると、kが十分に大きい時は次のようになります。

この式の両辺に任意のn次元ベクトル、例えば１_nを右から掛けると、

したがってｖ_kとｖ_k-1の成分の比は、次のように近似的に最大固有値λ₁になります。

また次のように、ｖ_k-1は近似的にλ₁に対応した固有ベクトルｘ₁になります。

最大固有値λ₁と固有ベクトルｘ₁が求められたら、(9.8)式を利用して次のようにＺを更新します。この更新されたＺ₍₂₎をＺと置き直し、同様の方法で固有値と固有ベクトルを次々と抽出することによって、全ての固有値と固有ベクトルを求めることができます。

このベキ乗法は少し工夫すれば非対称行列にも適用できますし、大きい順に固有値を求めていき、必要なものだけ求めたら途中で計算を終了することもできます。したがって主成分分析などの多変量解析で、固有値と固有ベクトルを必要な数だけ計算する時に便利です。ベキ乗法以外にもGram−Schmidtの直交化法を応用して行列を直交化し、(9.7)式の原理によって固有値と固有ベクトルを一度に求めるQR分解法、固有方程式の近似解をニュートン法などを利用して求める直接法など、多くの手法が開発されています。

(注１)　方程式の解の公式は昔から研究されていて、面白いエピソードが色々とあります。 1次方程式の解の公式と2次方程式の解の公式は古代メソポタミア文明や古代エジプト文明時代から知られていて、最初の発見者の名前は残念ながら知られていません。これらの公式はごく簡単なので、色々な人が色々なところで独立に発見したのでしょう。

3次方程式の解の公式を最初に発見したのは、16世紀イタリアのダル・フェロ(Scipione dal Ferro)とタルターリャ(Nicolo Tartaglia＝Nicolo Fontana)だと言われています。最初にダル・フェロが特殊な形の3次方程式の解を発見し、その噂を聞いたタルターリャが独力で一般解を発見したようです。しかし彼は当時の多くの数学者と同様に賭博師でもあり、方程式を早く解いた方が勝ちという勝負で稼いでいたので、この発見を自分だけの秘密にしていました。

ところがタルターリァの噂を聞きつけた、やはりイタリアのカルダーノ(Gerolamo Cardano＝Hieronymus Cardanus)が、タルターリャをおだて上げて、その秘密を聞き出すことに成功しました。そして彼の許可を得ずに、自著「アルス・マグナ(Ars magna de rebus algebraicis、高等代数学、代数の諸法則について)」(1545)に発表してしまいました。そのため3次方程式の解の公式は長らくカルダーノの公式と呼ばれてきましたが、現在ではタルターリャ・カルダーノの公式と呼ばれるようになっています。

4次方程式の解の公式は、3次方程式の解の公式が発表されてから間もなく、カルダノの弟子のフェラーリ(Ludovico Ferrari)が発見しました。 4次方程式の解の公式は3次方程式の解の公式を利用するので、3次方程式の解の公式がわかれば比較的簡単に発見できたのです。

さて、4次方程式の次は5次方程式も……と期待したくなるのは人情というものです。ところが5次方程式の解の公式は超難問であり、誰もそれを発見できないまま300年も経ってしまいました。そして19世紀になり、ついにノルウェーのアーベル(Niels Henrik Abel)が5次以上の方程式は代数的方法では解けない、つまり解の公式は存在しないことを証明します。そしてその後、ガロア(Evariste Golois)が、方程式が代数的に解けるための必要十分条件を解明し、現代数学で基本的な重要性を持つ群論の基礎を築きました。

ちなみに解の公式の解明に貢献した数学者のうち、カルダーノは自分の死ぬ日を予言し、予言を成就させるために自殺したとか、彼はタルターリャに対して行ったのと同じようなことを他にも沢山やっていたので、その報いを受けて野垂れ死に同然の悲惨な死に方をしたとか言われています。

アーベルは信じられないような不運の連続と周囲の数学者達の無理解によって、失意と貧困のうちに26才で夭逝しました。彼の天才と偉大な業績が認められ、ベルリン大学教授に指名されることになったという知らせが届いたのは、彼の死の二日後でした。

あまりにも純粋でありすぎた天才ガロアは、決闘に敗れてわずか21才で世を去りました。決闘の前夜、徹夜で書き上げられた殴り書きの遺書こそが、方程式が代数的に解けるための必要十分条件を解明し、群論の基礎を築いた革命的な論文だったのです。

９．固有値と固有ベクトル

1) 固有値と固有ベクトルの定義

2) 固有値と固有ベクトルの性質

3) 固有値と固有ベクトルの計算法