共分散分析(ANCOVA):傾きの有意性の検定

前回までで傾きが共通であること切片に差がある事を検定できた。正直この二つさえできればだいたい満足なのだが、共分散分析では「傾きが0ではないか」という検定も併せて出てくるのでついでなので計算しておく。

「傾きが0ではない」ということはつまり、x成分を変化させとき、それに対応してy成分が変化するか、要するにそのx成分意味ありますか?ってことである。

 

どのように検定を進めるかを簡単に説明する。

「傾きが0ではない」ことを検定するためには「傾きが0」の回帰直線と比較してみればよい。

回帰直線は(\bar{x},\bar{y})を通るので、傾きが0の直線はy=0\times\bar{x}+\bar{y}を通ることになる。つまりそれぞれのグループの平均値y=y_iを考えればよい。

f:id:Chemstat:20201014073013j:plain

 

 ここから先は切片の差の検定と大体同じでそれぞれの残差を比較していけばよい。

比較する残差は、

①「傾き共通の回帰の残差」

②「傾きを0にすることで増えた残差」

を比較することになる。これは「x成分という情報を除いた時の変化が、誤差に対して十分大きいか」を検定していることになる。

f:id:Chemstat:20201021065339j:plain

 

ということで早速実際のデータで計算していく。
 

データは以下である。

データ1

 x 1 2 3 4 5
 y 2 6 6 9 6

 データ2

 x 2 3 4 5 6
 y 0 4 4 3 6

 データ3

 x 0 1 2 3 4
 y 3 5 7 9 7

f:id:Chemstat:20200907005524p:plain

 

残差平方和の計算

傾き共通の回帰式は前回導いた式を使用する。

f:id:Chemstat:20201021070307j:plain


今回も実際の計算はデータ1のみ計算している。

前回同様、それぞれの回帰式を用いて\hat{y}を求め、実際のデータとの残差\varepsilon = y - \hat{y}を各データ点について計算する。ここでは傾き0なので、xの値によらず\hat{y}=5.8である。

f:id:Chemstat:20201021070952j:plain

 

データ1の傾き共通式の残差平方和:

 \begin{align*}  S_{11} = \sum_{i=1}^n \varepsilon^2 \scriptsize =2.35+1.78+0.04+4.27+4.27\normalsize=12.71\end{align*}

全データの回帰式の残差平方和:

 \begin{align*}  S_{41} = \sum_{i=1}^n \varepsilon^2 \scriptsize =14.44+0.04+0.04+10.24+0.04\normalsize=24.8\end{align*} 

 

これをすべてのデータについて行って、残差の合計を計算する。

傾き共通式

これは前回の計算と同様である。

残差平方和: \begin{align*}  S_{1} = S_{11}+S_{12}+S_{13}\scriptsize =12.71+7.11+6.44\normalsize=26.26...\end{align*}

残差の自由度:\phi_{\varepsilon1}=データの総数\phi_{N}-回帰式の自由度\phi_{\beta1}\scriptsize =15-4\normalsize=11

全データの回帰式

残差平方和: \begin{align*}  S_{4} = S_{41}+S_{42}+S_{43}\scriptsize =24.8+19.2+20.8\normalsize=64.8\end{align*}

残差の自由度:\phi_{\varepsilon4}=データの総数\phi_{N}-回帰式の自由度\phi_{\beta3}\scriptsize =15-2\normalsize=12

こちらはy=a型の回帰式3つから予想値を求めているので、切片の自由度3を引いた12が残差の自由度になる。

 

傾きの優位性のF検定

これらを踏まえてF検定に必要な平方平均を求める。最初に説明したように、

「傾き共通回帰式の残差」の平方平均: \begin{align*}  MS_{\varepsilon1} = \frac{ S_{1} }{\phi_{\varepsilon1}}\scriptsize =\frac{ 26.26...}{11}\normalsize=2.38...\end{align*}

「傾き0の回帰式による残差の増加」の平方平均: \begin{align*}  MS_{A4} = \frac{ S_{4}-S_{1} }{\phi_{\varepsilon4}-\phi_{\varepsilon1}}\scriptsize =\frac{ 64.8-26.26...}{12-11}\normalsize=38.53...\end{align*}

 

そしてこの平方平均を用いて「傾きが0である」ことを帰無仮説としたF検定を行う。

 \begin{align*}  F=\frac{MS_{A4}}{MS_{\varepsilon1}}=\frac{38.53...}{2.38...}=16.13... \end{align*}

自由度(1,11)\alpha=0.95F値4.84に対して大きいので、「傾きが0である」という帰無仮説は棄却され、「傾きが0ではない」と言える。

定義上、分子が分母より大きいときに棄却が否定されるという、片側検定なので注意が必要である。

ちなみこのデータは3つのグループがあるが、傾きがすべて0(b_1 = b_2 = b_3 = 0)ことを帰無仮説としており、どれか一つでも異なっていれば帰無仮説は棄却される。(そもそも傾き共通としているので、一つだけことなることはないのだけれど)

 

 

f:id:Chemstat:20201021073033j:plain

ということで傾きの有意性を検定することが出来た。次回はまとめとして分散分析表を解説して共分散分析を終える。

 

参考

 

共分散分析の解説:http://www.snap-tck.com/room04/c01/stat/stat13/stat1302.html