(注1)　相関分析では2つの変数がどちらも確率変数であると想定します。 そして第1節の(注1)で説明したように、検定と推定を厳密に行いたい時は2つの変数が近似的に次のような2次元正規分布をすると仮定します。

確率密度関数：

μ_x、μ_y：xとyの母平均値 　　σ²_x、σ²_y：xとyの母分散 　　ρ：xとyの母相関係数
D²：マハラノビスの平方距離(汎距離を平方した値)、自由度2のχ²分布に従う (→9.4 多変量正規分布とマハラノビスの汎距離、付録1　各種の確率分布　(8) 多変量正規分布)

この2次元正規分布において、確率密度f(x,y)を一定にするとD²は一定になります。 そしてX = x - μ_x、Y = y - μ_yと置くと次のようになります。

上式は座標軸の原点を楕円の中心、つまりxとyの母平均値の点に移動した時の楕円を表す式になります。 そして点(x,y)が楕円内に含まれる確率を(1 - α)とすると、次のような関係があります。

D² = χ²(2,α)：自由度2のχ²分布における100α％点

例えばα = 0.05として(1 - α) = 0.95とすると次のようになります。 これを95％等確率偏差楕円または95％信頼楕円といいます。

D²=χ²(2,0.05) = 5.991
∴

変数が3つ以上の時は2次元正規分布を多変量に拡張した多変量正規分布になります。 多変量正規分布については第9章で説明します。 (→9.4 多変量の場合)

母平均値や母分散や母相関係数といった母集団のパラメーターが不明で、標本集団のデータから推測したパラメーターを用いる時は次のようになります。 ただしこの式はパラメーターの推測誤差は考慮しておらず、それぞれのパラメーターは点推定値を用いています。

D² = 2F(2,φ_R,α)　　X = x - m_x 　　Y = y - m_y


m_x、m_y：xとyの標本平均　　V(x)、V(y)：xとyの不偏分散 　　r：xとyの相関係数

信頼楕円は個々のプロットの100(1 - α)％が含まれる範囲を2次元的に表したものです。 それに対して第1章で説明した信頼区間は標本平均値の100(1 - α)％が含まれる範囲を1次元的に表したものです。 そこで2次元の時にxとyの標本平均値のプロット(m_x,m_y)の100(1 - α)％が含まれる範囲を計算すると次のようになります。 (→1.4 推定)

：m_xの分散 　　 　　：m_yの分散 　　
：m_xとm_yの共分散
　　

このように標本平均値のプロット(m_x,m_y)の100(1 - α)％が含まれる範囲はSDの代わりにSEを使用したものになり、信頼楕円の半径を√nで割った楕円になります。 混乱を避けるために1次元と2次元の用語を統一するとしたら、この楕円のことを100(1-α)％信頼楕円(confidence ellipse)と呼ぶ方が良いと思います。 そして1次元の時に100(1 - α)％のデータが含まれる範囲を100(1 - α)％許容限界(tolerance limit)と呼ぶことがあるので、100(1 - α)％等確率偏差楕円のことは100(1-α)％許容楕円(tolerance ellipse)と呼ぶべきでしょう。

また1次元の時にデータが異常値かどうかをチェックするための棄却検定という手法がありました。 この棄却検定で計算される棄却範囲は標本平均値の誤差とデータのバラツキを合わせた時の信頼区間、つまり標本平均値の推測誤差まで考慮した時に母集団のデータの100(1 - α)％が含まれる範囲に相当します。 この範囲のことを100(1 - α)％棄却限界と呼ぶことがあります。 (→2.6 尺度合わせと異常値)

それと同様の範囲を2次元で計算すると次のようになります。 これは意味としては100(1 - α)％棄却楕円ですが、通常は100(1 - α)％予測楕円(prediction ellipse)と呼ばれます。 一般に母集団のパラメーターは不明ですから、母集団のデータの100(1 - α)％が含まれる範囲としては許容楕円よりもこの予測楕円を用いる方が合理的です。

：m_xに誤差がある時の不偏分散 　　：m_yに誤差がある時の不偏分散
：m_xとm_yに誤差がある時の共分散
　　

ちなみに信頼楕円と回帰直線の交点を求めてみましょう。 信頼楕円の式をYについて解くと次のようになります。

かつ

回帰直線をXとYで表すと次のようになります。

直線回帰式：y = a + bx
　　

この式のYを信頼楕円の式に代入して、信頼楕円と直線回帰式の交点を求めると次のようになります。

∴ … Xの最小値と最大値。 この時

回帰直線は信頼楕円の長軸と一致すると思われがちですが、実はそうではなく上記のようにXの最小値と最大値つまりy軸と平行に引いた直線と信頼楕円との接点を通ります。 そのため信頼楕円の長軸よりも傾きが少し小さくなります。 そしてxとyを入れ替えた回帰直線つまりyの値からxの値を推定する回帰直線は、x軸と平行に引いた直線と信頼楕円との接点を通ります。 そのため信頼楕円の長軸よりも傾きが少し急になります。 これらのことは図5.5.3を見れば感覚的に納得できる思います。

一般に楕円は座標軸を回転すれば簡単な式で表すことができます。 信頼楕円の場合は、次の式から求められるθだけ座標軸を回転すれば簡単な式で表すことができます。 その簡単な式から楕円の長軸の長さと短軸の長さ、そして長軸の式を求めることができます。

　　
C(x,y) = 0、V(x) ＞ V(y)の時：、C(x,y) = 0、V(x) ＜ V(y)の時：
C(x,y) ＞ 0、V(x) ＞ V(y)の時：、C(x,y) ＜ 0、V(x) ＜ V(y)の時：
C(x,y) ＜ 0、V(x) ＞ V(y)の時：、C(x,y) ＞ 0、V(x) ＜ V(y)の時：
C(x,y) ＞ 0、V(x) = V(y)の時：、C(x,y) ＜ 0、V(x) = V(y)の時：
回転後の楕円の式：a'X'² + b'Y'² = 2F(2,φ_R,α)(1 - r²)V(x)V(y)
ただしX'とY'は回転後のX座標とY座標、a'、b'は次の方程式の2根である。
t² - {V(x)+V(y)}t + V(x)V(y)(1-r²) = 0
∴
、と置くと

※a' ＜ b'とすればaが長軸、bが短軸になる
長軸の傾き：b_m = tan(θ) 　　長軸の式：y = (m_y - b_mm_x) + b_mx=a_m + b_mx
※x₁ = x、x₂ = yとした主成分分析における第1主成分軸ベクトルをａ₁ = [a₁₁ a₁₂]'とすると

この信頼楕円の長軸は主成分分析の第1主成分軸と一致します。 そして長軸の式のことを主軸回帰(MA回帰：Major axis regression)または主成分回帰と呼び、xとyの両方に誤差がある時の回帰直線として利用することがあります。 しかし回帰分析はxには誤差がなく、yだけに誤差がある時の分析法であり、前向き研究で得られたデータを分析するための手法です。 xとyの両方に誤差がある時は、回帰分析ではなく相関分析や主成分分析または因子分析といった横断的研究から得られたデータを分析するための手法を用いるべきでしょう。

ちなみに信頼楕円の長軸の傾きはV(x)とV(y)とV(x,y)の大小関係に依存します。 そのため図5.5.3のようなグラフを描く時に、X軸とY軸を異なる縮尺にすると見かけ上の長軸の傾きが変わってしまいます。 そしてX軸とY軸を標準化して標準偏差単位にすると、信頼楕円の見かけ上の長軸の傾きは必ず45度または-45度になります。 この見かけ上の長軸の傾きの式を元のデータの単位に戻すと、次のようにxからyを回帰した時の回帰係数と、yからxを回帰した時の回帰係数の幾何平均値になると同時に、yとxの分散比の平方根にもなります。

b_xy：x→yの回帰係数　　b_yx：y→xの回帰係数 　　F_yx：yとxの分散比

この傾きb_sを用いた回帰直線のことを標準主軸回帰(SMA回帰：Standard Major axis regression)または幾何平均回帰(Geometric Mean regression)と呼び、主軸回帰と同じようにxとyの両方に誤差がある時の回帰直線として利用することがあります。 X軸とY軸を標準偏差単位でグラフ化した時、この回帰直線の傾きは45°になり、信頼楕円の見かけ上の長軸と一致します。 しかし計算原理からわかるように、この回帰直線にはb_xyとb_yxが両方とも負の場合、回帰係数b_sが正になってしまうという致命的な欠点があります。 したがってこの回帰直線はb_xyとb_yxがどちらも正の時しか意味を持ちません。

このようにX軸とY軸の縮尺を変えると、信頼楕円の長軸の見かけ上の傾きは変わります。 しかし普通の回帰直線が信頼楕円の最大値と最小値を通るという関係は変わらないため、どんな場合でも回帰直線はy軸と平行に引いた直線と信頼楕円との接点を通ります。 そしてX軸とY軸を標準化して標準偏差単位にすると、回帰直線の傾きは相関係数と一致します。

なお座標軸を回転する前の座標(X,Y)と回転後の座標(X',Y')の関係は、ここと同じ雑学コーナーに展示してある「ベクトルと行列」の第7章をご覧ください。 (→「ベクトルと行列・第7章　逆行列」)

(注2)　2つの確率変数が名義尺度で、それを0/1のダミー変数で表した時、データの分布は二項分布的になります。 そのため二項分布を正規分布で近似し、さらにそれを平方したχ²分布を利用して相関係数の検定を行います。 それがマンテル・ヘンツェルの検定です。

出現率の差の検定に用いるχ²検定は回帰係数の検定に相当し、マンテル・ヘンツェルの検定よりもわずかに大きいχ²値になります。 しかしそれは離散分布を連続分布で近似する時のわずかな違いであり、本質的な違いではありません。 その証拠に直接確率計算はどちらも同じものになります。 (→5.3 計数値の相関分析と回帰分析 (注2))

(注3)　相関分析と同様に回帰分析の場合も信頼区間を求めることができます。 まずyの推測値の信頼区間は次のようになります。 この信頼区間は母集団のy推測値の100(1 - α)％が含まれる範囲を表し、信頼限界と呼ぶことが多いようです。

→

∴
x = x₀の時のy推測値の100(1 - α)％信頼限界：
m_x：xの標本平均値　　S_xx：xの平方和　　V_R：残差分散
：y推定値とm_yの共分散 　　t(n - 2,α)：自由度(n - 2)のt分布における100α％点

この100(1 - α)％信頼限界において、x = m_xの時の値を計算すると次のようになります。

これはt値と残差分散が少し異なるだけで、平均値の信頼限界(信頼区間)とほぼ同じ式であることがわかると思います。 つまり回帰直線は平均値を2次元に拡張したものに相当し、y推測値の信頼限界は平均値の信頼限界を2次元に拡張したものに相当することになります。 これを利用して、平均値の信頼限界に基づいて試験の必要例数を求めるのと同様の方法で回帰分析の必要例数を求めることができます。 (→1.4 推定)

また|x - m_x|をxの標準偏差SD_xと同じにすると次のようになります。

この式から信頼限界の幅はx = m_xの時が最も狭く、xがm_xから離れるほど広くなり、x = m_x ± SD_xの時は約√2倍になることがわかります。 そして(1/n)項と同様に{(x - m_x)²/S_xx}項もnが大きくなるほど小さくなることもわかると思います。 この式を利用して平均値の信頼限界に基づいて試験の必要例数を求めるのと同様の方法で回帰分析の必要例数を求めることができます。 (→1.8 科学的研究の種類　(注1))

次にyの信頼限界を求めてみましょう。 もしaとbに誤差がない、つまりy推測値に誤差がないとすると次のようになります。 これが許容限界になります。

x = x₀の時のyの100(1 - α)％許容限界：
x = m_xの時：

しかし実際にはaとbには誤差があるので次のようになります。 これが棄却限界です。 回帰分析の場合は棄却限界のことを予測限界(prediction limit)と呼びます。

x = x₀の時のyの100(1 - α)％予測限界：
x = m_xの時：

説明変数が2つ以上になった重回帰分析でも、これと同様に3種類の信頼限界を計算することができます。 重回帰分析の信頼限界については第7章で説明します。 (→7.2 重回帰分析結果の解釈 (注3))

通常、回帰分析ではxの値を指定してyの値を推測します。 しかしその逆にyの値を指定してxの値を逆推定したい時もたまにあります。 その場合、xの逆推定値は次のようにして回帰式から逆算することができます。

xの逆推定値： →

この場合、yにもbにも誤差があるのでxの逆推定値の信頼区間は少し複雑になります。 一般に、2つの確率変数xとyの比の信頼区間は次のようなフィーラー(Fieller)の式で求めます。

　　t = t(φ,α)：自由度φのt分布における100α％点

g ＜ 0.1の時はg = 0とした近似式も用いられます。 そしてこの近似式はデルタ法(delta method)によって求めた比の分散を用いた信頼区間と一致します。 (→2.4 差と比とパーセントの使い分け (注2))

… デルタ法による近似分散

このフィーラーの式を利用して、xの逆推定値の信頼限界と予測限界を求めると次のようになります。

○100(1 - α)％信頼限界：回帰直線上のy推測値として特定の値を指定した時にxの逆推定値の100(1 - α)％が含まれる範囲

　　 　　C(y_d,b) = 0
　　t = t(n - 2,α)：自由度(n - 2)のt分布における100α％点


※g ＜ 0.1の時はg = 0とした次のような近似式も用いられる。

○100(1 - α)％予測限界(棄却限界)：回帰直線を求めたデータとは独立にyの値を観測した時にxの逆推定値の100(1 - α)％が含まれる範囲


　　C(y_d,b) = 0

※g = 0とした近似式

この逆推定に用いたy推定値とyの信頼限界曲線の交点を求めてみましょう。

∴

このように2本の信頼限界曲線上でy推定値 = y推定値₀になる時のxは、g = 0とした時のx₀の信頼限界に相当します。 つまり回帰直線上のy推定値として特定の値を指定した時のxの逆推定値はy = y推定値という直線と回帰直線の交点になり、逆推定値の信頼限界はy = y推定値という直線とy推定値の2本の信頼限界曲線の交点付近になるわけです。 そしてこの関係は予測限界についても同様に成り立ちます。

xの逆推定値とその予測限界は用量反応直線を利用した用量の逆推定で用いられます。 (→13.1 用量反応直線 (注2))

(注4)　目的変数が確率変数であり、それが0/1のダミー変数のため回帰誤差は二項分布的になります。 そこで二項分布を正規分布で近似し、さらにそれを平方したχ²分布を利用して回帰係数の検定を行います。 それがコクラン・アーミテージの傾向検定です。 つまり目的変数を0/1のダミー変数で表した回帰分析は出現率の回帰分析に相当します。 (→5.3 計数値の相関分析と回帰分析 (注4))

(注5)　目的変数が確率変数であり、それが0/1のダミー変数のため回帰誤差は二項分布的になります。 そこで二項分布を正規分布で近似し、さらにそれを平方したχ²分布を利用して回帰係数の検定を行います。 そして説明変数も0/1のダミー変数ですから、回帰係数の検定は出現率の差の検定に用いるχ²検定になります。 それに対してマンテル・ヘンツェルの検定は、原理的には相関係数の検定に相当します。 (→5.3 計数値の相関分析と回帰分析 (注2))