Shingoの数学ノート

線形回帰分析のt値がt分布に従う理由(証明)

日付： 2020-9-2 カテゴリ：データ分析

はじめに

今回は、あまり見かけることのない線形回帰分析におけるt値がt分布に従うことを証明していきます。

t値と仮説検定については、仮説検定のブログを参照してください

なお、この証明を行うのに線形代数や統計学の知識は必須ですので、わからない方は適宜調べながら追っていってもらえればと思います。

t分布について

まず、t分布のおさらいです。自由度を$n$のt分布は$z$を標準正規分布、$v$を自由度$n$のカイ２乗分布に従うとき、以下のように表されます。

\begin{equation} t=\frac{z}{\sqrt{v/n}} \end{equation}

t値について

線形回帰分析の式は以下です。

\begin{equation} y_i=\beta_0+\beta_1x_{i1}+\cdots+\beta_kx_{ik}+u_i \end{equation}

ただし、$u_i \sim N(0,\sigma^2)$で独立同分布(i.i.d)です。

行列表記にすると、以下になります。

\begin{equation} \mathbf y=\mathbf X\mathbf \beta+\mathbf u \end{equation}

また、$\mathbf y$の予測値$\mathbf{\hat{y}}$を以下で定義します。

\begin{equation} \mathbf{\hat{y}} = \mathbf X \mathbf{\hat{\beta}} \end{equation}

ただし、$\mathbf{\hat{\beta}}$は現在のデータから計算したパラメータです。

残差$\mathbf e$を次のように定義します。

\begin{equation} \mathbf e = \mathbf y-\mathbf{\hat{y}} \end{equation}

回帰分析のt値は以下で表されます。

\begin{equation} t=\frac{\hat{\beta}_j}{s_{j}} \end{equation}

ただし、$s_j=s^2q^{jj}$、 $s^2=\frac{\mathbf e'\mathbf e}{n-k}=\frac{\sum_{j=1}^{k}e_j^2}{n-k}$、 $q^{jj}$は$(X'X)^{-1}$の$(j,j)$要素とします。

ちなみに、$s_j^2$は$Var(\hat\beta_j)$の不偏分散になります。$s_j$は標本誤差とも呼ばれます。

このt値が自由度$(n-k)$のt分布に従うことを証明していきたいと思います。

証明の方針

$z=\frac{\hat{\beta_j}}{\sigma \sqrt{q^{jj}}}$、$v=\frac{(n-k)s^2}{\sigma^2}$としたとき、t値は$t=\frac{z}{\sqrt{v/(n-k)}}$と表すことができます。

$z$が標準正規分布であること、$v$が自由度$(n-k)$のカイ二乗分布に従うことが示されればt分布に従うことを証明できるので、これを目標とします。

かなり長いので、証明のアウトラインを載せます。

$z$が標準正規分布に従うこと
あるべき等対称行列$\mathbf M$を用いて、$\mathbf e=\mathbf M\mathbf u$と表される。ただし、べき等対称行列とは$\mathbf M=\mathbf M'=\mathbf M^2$を満たす$\mathbf M$である。
$\mathbf e'\mathbf e=\mathbf u'\mathbf M\mathbf u$
$\mathbf P'\mathbf M\mathbf P=I_{n,n-k}$となる直交行列$\mathbf P$が存在すること（ただし$I_{n,n-k}$とは、$(n-k)$個の対角成分が1、それ以外が0の$n \times n$行列とする。）
$\frac{\mathbf u'\mathbf M\mathbf u}{\sigma^2} \sim \chi^2(n-k)$
$\frac{(n-k)s^2}{\sigma^2}\sim\chi^2(n-k)$

1と6から、$z$が標準正規分布であること、$v$が自由度$(n-k)$のカイ二乗分布に従うことが証明され、t値がt分布に従うことが証明されます。

1. $z$が標準正規分布に従うこと

$\hat\beta_j\sim N(\beta_j,\sigma^2 q^{jj})$を示せば$z$が標準正規分布に従うことが示せるので、これを示します。

以前のブログから、$\hat\beta=(\mathbf X'\mathbf X)^{-1}\mathbf X'\mathbf y$であることを示したので、これを使います。

\begin{equation} \mathbf{\hat\beta}=(\mathbf X'\mathbf X)^{-1}\mathbf X'\mathbf y=(\mathbf X'\mathbf X)^{-1}\mathbf X'(\mathbf X\mathbf{\beta}+\mathbf u)=\mathbf{\beta}+(\mathbf X’\mathbf X)^{-1}\mathbf X'\mathbf u \end{equation}

$u_i \sim N(0,\sigma^2)$ですので、正規分布の再生性から$\mathbf{\hat\beta}$は多変量正規分布に従い、$E[\mathbf{\hat\beta}]=\mathbf{\beta}$となります。

また、分散については、以下のように計算できます。

\begin{eqnarray} Var(\mathbf{\hat\beta})&=&E[(\mathbf{\hat\beta}-\mathbf{\beta})(\mathbf{\hat\beta}-\mathbf{\beta})']\\ &=&E[(\mathbf X'\mathbf X)^{-1}\mathbf X'\mathbf u\mathbf u'\mathbf X(\mathbf X'\mathbf X)^{-1}]\\ &=&(\mathbf X'\mathbf X)^{-1}\mathbf X'E[\mathbf u\mathbf u']\mathbf X(\mathbf X'\mathbf X)^{-1}\\ &=&(\mathbf X'\mathbf X)^{-1}\mathbf X'(\sigma^2\mathbf I_n)\mathbf X(\mathbf X'\mathbf X)^{-1}\\ &=&\sigma^2(\mathbf X'\mathbf X)^{-1} \end{eqnarray}

$q^{jj}$は$(\mathbf X'\mathbf X)^{-1}$の$(j,j)$要素であるので、$Var(\mathbf{\hat\beta})=\sigma^2q^{jj}$となり、$\hat\beta_j\sim N(\beta_j,\sigma^2 q^{jj})$が示されます。

2. あるべき等対称行列$\mathbf M$を用いて、$\mathbf e=\mathbf M\mathbf u$と表される。

\begin{eqnarray} \mathbf{e}&=&\mathbf y-\mathbf{\hat{y}}\\ &=&\mathbf y-\mathbf X\mathbf{\hat{\beta}}\\ &=&\mathbf y-\mathbf X(\mathbf X'\mathbf X)^{-1}\mathbf X'\mathbf y\\ &=&[\mathbf I_n-\mathbf X(\mathbf X'\mathbf X)^{-1}\mathbf X']\mathbf y\\ &=&\mathbf M\mathbf y \end{eqnarray}

ただし、$\mathbf M=\mathbf I_n-\mathbf X(\mathbf X'\mathbf X)^{-1}\mathbf X'$とします。

これは、計算すると$\mathbf M=\mathbf M'$、$\mathbf M^2=\mathbf M$を示すことができ、べき等行列です。

さらに、$\mathbf M\mathbf X=0$を満たすので、以下の式が成り立ちます。

\begin{equation} \mathbf e=\mathbf M\mathbf y=\mathbf M(\mathbf X\mathbf{\beta}+\mathbf u)=\mathbf M\mathbf u \end{equation}

3. $\mathbf e'\mathbf e=\mathbf u'\mathbf M\mathbf u$

上記から、以下の式が成り立ちます。

\begin{equation} \mathbf e'\mathbf e=(\mathbf M\mathbf u)'(\mathbf M\mathbf u)=\mathbf u'\mathbf M^2\mathbf u=\mathbf u'\mathbf M\mathbf u \end{equation}

4. $\mathbf P'\mathbf M\mathbf P=\mathbf I_{n,n-k}$となる直交行列$\mathbf P$が存在すること

$\mathbf M$は対称行列より対角化可能です。すなわち、$\mathbf P'\mathbf M\mathbf P=diag(\lambda_1,\lambda_2,\cdots,\lambda_n)$となる直交行列$\mathbf P$が存在します。

また、$\mathbf M\mathbf p_i=\lambda_i\mathbf p_i$となる$\lambda_i$は、$\mathbf M^2=\mathbf M$から$\lambda_i^2=\lambda_i$を満たします。すなわち、$\lambda_i$は0または1です。

また、1の個数を$r$とおくと、$\mathbf P'\mathbf M\mathbf P=\mathbf I_{n,r}$であり、

\begin{eqnarray} r&=&trace(\mathbf P'\mathbf M\mathbf P)\\ &=&trace(\mathbf M)\\ &=&trace(\mathbf I_n-\mathbf X(\mathbf X'\mathbf X)^{-1}\mathbf X')\\ &=&n-trace(\mathbf X'\mathbf X(\mathbf X'\mathbf X)^{-1})\\ &=&n-trace(\mathbf I_k)\\ &=&n-k \end{eqnarray}

となります。したがって、$\mathbf P'\mathbf M\mathbf P=\mathbf I_{n,n-k}$となる直交行列$\mathbf P$が存在します。

5. $\frac{\mathbf u'\mathbf M\mathbf u}{\sigma^2} \sim \chi^2(n-k)$

上記の$\mathbf P$を用いて、$\mathbf z=\frac{1}{\sigma}\mathbf P'\mathbf u$となる$\mathbf z$を定義します。

$u_i\sim N(0,\sigma)$かつi.i.dから$z_i$は正規分布に従い、平均は0です。

さらに、$Var(\mathbf z)=\frac{1}{\sigma^2}Var(\mathbf P'\mathbf u)=\frac{1}{\sigma^2}\mathbf P'(\sigma^2\mathbf I_n)P=\mathbf I_n$($\mathbf P$は直交行列より)となるので、$z_i\sim N(0,1)$かつi.i.dです。

したがって、$\mathbf u=\sigma \mathbf P\mathbf z$ より以下が成り立ちます。

\begin{equation} \frac{1}{\sigma^2}\mathbf u'\mathbf M\mathbf u=(\mathbf P\mathbf z)'\mathbf M(\mathbf P\mathbf z)=\mathbf z'\mathbf P'\mathbf M\mathbf P\mathbf z=\mathbf z'\mathbf I_{n,n-k}\mathbf z=\sum_{i=1}^{n-k}z_i^2 \end{equation}

i.i.dの標準正規分布の二乗和はカイ二乗分布に従い、和の個数が自由度となるため、$\frac{1}{\sigma^2}\mathbf u'\mathbf M\mathbf u\sim \chi^2(n-k)$が証明されました。

6. $\frac{(n-k)s^2}{\sigma^2}\sim\chi^2(n-k)$

「$s^2=\frac{\mathbf e'\mathbf e}{n-k}$」と、証明3、5から示すことができます。

以上で証明が終了となります。

文献は以下を参考にしていますので、より詳しく知りたい方は是非読んでみてください。

参考文献

蓑谷千凰彦著. 線形回帰分析(2015). 朝倉書店