(注1)　第2章第6節で説明したように、特別な理由がない限りグレーディングなどはしない方が賢明です。 せっかくデータが持っている貴重な情報をグレーディングなどでツブしてしまうことはありません。 実にもったいない話です。 (→2.6 尺度合わせと外れ値)

(注2)　これらのことをより深く理解し、多変量解析を本格的に理解するにはベクトルと行列の知識が必要不可欠になります。 ベクトルと行列については、ここと同じ雑学コーナーに展示してある「ベクトルと行列」をご覧ください。 図6.2.1の意味を理解するためだけなら第1章〜第6章を読むだけで十分です。

…というわけで「ベクトルと行列」を読んでいただいたことにして、多変量解析の準備として基本統計量をベクトルと行列を用いて表現しておきましょう。 n例の症例についてp個の項目を測定したデータがあった時、それらはp個の項目ベクトルとも、n個の症例ベクトルともとらえることができ、次のようなデータ行列として表現することができます。

図6.2.1のようなグラフではデータをp次元ベクトル空間におけるn個の症例ベクトルととらえることが多く、症例を点でプロットします。 しかし多変量解析では主としてn次元ベクトル空間におけるp個の項目ベクトルととらえます。 その理由は、p個の項目にはお互いに関連性があるのが普通なのでp次元ベクトル空間の座標軸が直交しないのに対して、n例の症例はお互いに独立であるのが普通なのでn次元ベクトル空間の座標軸が直交して数学的な取り扱いが簡単になるからです。

そこでn次元ベクトル空間におけるp個の項目ベクトルという観点で、ある項目のデータとその合計および平均値をベクトルで表現すると次のようになります。

このように合計はベクトル１_nとデータベクトルｘの内積になり、平均値はそれをベクトル空間の次元数nで割ったもの、つまり１_n/nとｘの内積になります。 「ベクトルと行列・第4章」で説明しているように、ベクトルｘとｙの内積はｘとｙのなす角をθとすると‖ｘ‖‖ｙ‖cosθになります。 そして「ベクトルと行列・第6章」で説明しているように、ｘをｙに正射影したベクトルはｙを定数倍したaｙになり、その係数aは2つのベクトルの内積ｘ'ｙを‖ｙ‖²で割った値になります。 この係数aはｘをｙに正射影した時の影の長さ‖ｘ‖cosθを‖ｙ‖で割った値であり、ｙを座標軸と考え、‖ｙ‖を1単位とした時のｘの座標値に相当します。

例えばｘを１_nに正射影したベクトルは、次のように１_nを平均値m倍した平均値ベクトルｍ_nになります。

図6.2.3を見るとわかるように、１_nは全ての直交座標軸と45度で交わる1次元部分空間上のベクトルです。 そしてこの1次元部分空間は「もし全てのデータが同じ値だとしたらどんな値になるか？」という具体的な意味を持つ空間です。 つまり平均値を求めるという操作はｘと１_nの内積を求めて、それをベクトル空間の次元数で割るという操作であると同時に、ｘを１_nが存在する1次元部分空間に正射影して平均値ベクトルｍ_nを求める操作にも相当するわけです。

また１_nはｘの各成分であるデータx_iの出現度数に相当するので出現度数ベクトルと解釈できます。 それに対して１_n/nはx_iの出現確率に相当するので出現確率ベクトルと解釈できます。 第1章・第3節で説明したように、平均値はデータにその出現確率を掛けて合計した期待値E(x)に相当します。 そして各データの出現度数や出現確率が異なる時は、一見すると出現度数ベクトルや出現確率ベクトルは１_nが存在する1次元部分空間上には存在しないように思えるかもしれません。 (→1.3 データの要約方法　(注3))

しかし例えばk種類のデータがあり、出現度数がそれぞれ異なっているとします。 この時、全ての出現度数の合計度数をnとすると、データは全部でn個あり、その中で同じ値のデータがk組あると解釈できます。 その場合、出現度数ベクトルの成分は全て1でn個あり、データベクトルｘの成分もn個あり(ただし同じ値の成分の組がk個ある)、これらのベクトルはn次元ベクトル空間上に存在します。

すると出現度数ベクトルはやはり１_nに、出現確率ベクトルは１_n/nになり、どちらも１_nが存在する1次元部分空間上に存在します。 したがってデータの出現度数または出現確率が異なっていても、平均値つまり期待値を求めるという操作はｘを１_nが存在する1次元部分空間に正射影してｍ_nを求める操作に相当します。

またデータが無限個ある時の期待値は母平均値に相当します。 その場合は無限次元のヒルベルト空間(Hilbert space)上に、確率関数p(x)と無限の成分を持つデータベクトルｘが存在することになります。 そしてp(x)は無限個の⊿p(無限小の確率値)に分解できて、やはり１_∞が存在する1次元部分空間上に存在します。 (→「ベクトルと行列・第10章　フーリエ展開」)

次に偏差ベクトルｄは次のようになり、これは平均値ベクトルｍ_nと直交します。 したがってデータの平均値と偏差を求めることは、データベクトルｘを平均値ベクトルｍ_nと偏差ベクトルｄに直交分解していることに相当します。

この時、偏差ベクトルｄが存在する部分空間は平均値ベクトルｍ_nが存在する1次元部分空間の直交補空間になり、次元数が(n - 1)になります。 前述のようにｍ_nが存在する1次元部分空間は「もし全てのデータが同じ値だとしたらどんな値になるか？」という具体的な意味を持つ空間です。 しかしｄが存在する(n - 1)次元部分空間は、偏差の原因がわからない限り具体的な意味を持たない誤差空間または残差空間です。

さらに平方和と分散は次のようになります。

このように分散は偏差ベクトルｄの大きさの平方を部分空間の次元数で割った値になります。 これは次のようにｄを部分空間の正規直交基底ｚ₁、…、ｚ_i、…、ｚ_n-1で直交分解した時の、各分解ベクトルの大きさの平方を平均したものになります。

またｍ_nとｄはｘを直交分解したベクトルなので、次のようなことが成り立ちます。

このことからベクトルの大きさの平方は平方和に、ベクトル空間の次元は自由度に相当し、平方和の相加性は三平方の定理に基づいていることがわかります。 不偏分散を計算する時、平方和を例数ではなく自由度で割る理由は、平方和がベクトルの大きさの平方に相当し、自由度がベクトル空間の次元に相当し、ベクトルの大きさの平方を1次元あたりの値にしたものが分散に相当するからです。 またベクトルはデータの集まりなので情報と考えると、ベクトルの大きさの平方は情報量に相当し、ベクトル空間の次元は情報の担い手の数に相当し、分散は1担い手あたりの情報量つまり情報密度に相当すると解釈できます。

標準偏差は次のようにｄの大きさを部分空間の次元数の平方根で割った値になります。 このように統計学では平方した値と例数が比例し、元の値は例数の平方根と比例することがしばしばあります。 これは三平方の定理からわかるようにベクトルの大きさが次元数の平方根に比例するからです。 またデータｘを標準化すると、偏差ベクトルｄを‖ｄ‖で割って大きさを1に規準化し、それを次元数の平方根倍したものになります。

検定統計量tとFは次のようになり、tは1次元あたりのｍ_nの大きさを1次元あたりのｄの大きさで割った値になります。 そして平均値の検定はt値が2以上あれば有意水準５％で有意になるので、1次元あたりの平均値ベクトルの大きさが1次元あたりの偏差ベクトルの大きさの2倍以上あれば、平均値は数学的に95％以上信頼できると判断していることになります。

また積和と共分散、そして相関係数は次のようになります。

このように積和は2つの偏差ベクトルの内積になり、共分散はそれを次元数で割って1次元あたりの値にしたものになります。 そして2つの標準化ベクトルｚ_xとｚ_yの共分散つまり相関係数は大きさを1に規準化した偏差ベクトルの内積になり、これは2つの規準化された偏差ベクトルをお互いに正射影した時の影の長さ、つまり2つの偏差ベクトルがなす角θの余弦(cosθ)になります。 したがって相関係数が0の時、ｄ_xとｄ_yは直交します。

このことから独立または無相関のことを直交すると表現する時があります。 ただし相関係数が0でも独立または無相関とは限らないので、厳密にいうとこの表現は正確ではありません。 (→5.1 相関係数と回帰直線)

一方、xからyを推定する時の回帰直線の回帰係数と、yからxを推定する時の回帰直線の回帰係数は次のようになります。 この式から回帰係数は一方の偏差ベクトルを他方の偏差ベクトルに正射影した時の影の長さを、他方のベクトルの大きさで割って1単位あたりにした値と考えることができます。

またこの式から2つの偏差ベクトルの大きさが同じ、つまりxとyの分散が同じなら回帰係数と相関係数は一致することがわかります。 そしてxとyの標準化ベクトルは大きさが同じなので、xとyを標準化した時の回帰係数つまり標準回帰係数は相関係数と一致します。 したがって相関係数は2つの標準化したデータの回帰係数に一致し、それは2つの規準化された偏差ベクトルをお互いに正射影した時の影の長さ(cosθ)に相当すると考えることができます。 これらのことは、図6.2.5を見れば何となく感覚的にとらえることができると思います。

ちなみに余弦定理から、ｄ_xとｄ_yとその差ベクトル[ｄ_x - ｄ_y]と和ベクトル[ｄ_x + ｄ_y]について次のような関係が成り立ちます。 そしてこれらの式の両辺を(n - 1)で割ることによって、合成変量の分散の式を導くことができます。 (→1.3 データの要約方法 (注4))

さらにエーベルの級内相関係数は次のようになります。

このようにr₁₁はｄ_xとｄ_yが一致している程度を表す指標、つまり偏差ベクトルが一致している程度を表す指標と解釈することができます。 そしてこの値の相関係数rの後ろのr_Vは‖ｄ_x‖²と‖ｄ_y‖²の幾何平均と算術平均の比になっています。 この値はｄ_xとｄ_yの大きさが等しい時だけ1になり、等しくない時は1よりも小さな値になり、一方の大きさが0の時は0になります。 したがってr_Vは偏差ベクトルの大きさの平方、つまり平方和の一致度を表す値と解釈することができます。 ただしこの場合、2つの偏差べクルトの次元数が等しく、この値は分散の一致度を表す値にもなるので分散一致係数と呼ぶことにします。

このようにエーベルの級内相関係数r₁₁は、2つの偏差ベクトルのなす角の一致度を表す相関係数rと、2つの偏差ベクトルの大きさの平方の一致度を表す分散一致係数r_Vの積として表すことができます。 (→4.ベクトル空間　3) 内積の幾何学的解釈、5.4 級内相関係数と一致係数 (注1)、12.6 周期共分散分析 (注2))

またｘとｙに影響を与える第3のデータベクトルｚがあると、もう少し複雑な相関関係が考えられます。 この場合、ｘとｙの相関係数を求めた時の偏差ベクトルｄ_xとｄ_yに、さらに偏差ベクトルｄ_zを考えると、これらの偏差ベクトルは全て１_nの直交補空間R^n-1上にあります。 そしてｄ_xとｄ_yのなす角θ_dx-dyの余弦(cos)がｘとｙの相関係数になります。

ここでｄ_xとｄ_yをｄ_zに正射影したベクトルｄ_xzとｄ_yzはｄ_xとｄ_yの直交分解に相当し、ｄ_zからｄ_xとｄ_yを推測する回帰ベクトルになります。 そしてｄ_xとｄ_yをｄ_zの直交補空間R_⊥z^n-2に正射影したベクトルｄ_x⊥zとｄ_y⊥zは、ｄ_xとｄ_yからｄ_zの影響を取り除いたベクトルに相当します。 そのためｄ_x⊥zとｄ_y⊥zのなす角θ_{dx⊥z-dy⊥z}の余弦はｄ_xとｄ_yからｄ_zの影響を取り除いた時のxとyの相関係数に相当します。 これをxとyの偏相関係数(partial correlation coefficient)といい、r_x/z・y/zと書きます。 偏相関係数はxとyの両方に影響を与える変数zがある時、zの影響を取り除いてxとyの相関関係を検討する時に有効な指標です。

さらにｄ_x⊥zとｄ_yのなす角θ_dx⊥z-dyの余弦はｘだけからｚの影響を取り除いた時のxとy相関係数に相当します。 これをxとyの部分相関係数(part correlation coefficient)といい、r_x/z・yと書きます。 図6.2.6からわかるようにθ_dx⊥z-dyは必ずθ_{dx⊥z-dy⊥z}以上の角度になるので、部分相関係数は必ず偏相関係数以上の値になります。 部分相関係数はxだけに直接的な影響を与え、yには直接的な影響は与えない変数zがある時に、xからzの影響を取り除いてyとの相関関係を検討する時に有効な指標です。