【統計検定１級】統計応用・人文科学 2024年 問4【解答】

解答

[1]

[1-1]

与えられた\(D\)と\(Q_3\)について、

\[ \begin{aligned} DQ_3 &=\frac{1}{3} \begin{pmatrix} 0 & 4 & 2\\ 4 & 0 & 2\\ 2 & 2 & 0 \end{pmatrix} \begin{pmatrix} 2 & -1 & -1\\ -1 & 2 & -1\\ -1 & -1 & 2 \end{pmatrix} \\ &=\frac{1}{3} \begin{pmatrix} -6 & 6 & 0\\ 6 & -6 & 0\\ 2 & 2 & -4 \end{pmatrix} \end{aligned} \]

である。 これを用いると、

\[ \begin{aligned} P &=-\frac{1}{2}Q_3DQ_3 \\ &=-\frac{1}{18} \begin{pmatrix} 2 & -1 & -1\\ -1 & 2 & -1\\ -1 & -1 & 2 \end{pmatrix} \begin{pmatrix} -6 & 6 & 0\\ 6 & -6 & 0\\ 2 & 2 & -4 \end{pmatrix} \\ &=-\frac{1}{18} \begin{pmatrix} -20 & 16 & 4\\ 16 & -20 & 4\\ 4 & 4 & -8 \end{pmatrix} \\ &=\frac{1}{9} \begin{pmatrix} 10 & -8 & -2\\ -8 & 10 & -2\\ -2 & -2 & 4 \end{pmatrix} \end{aligned} \]

となる。

[1-2]

指定された固有ベクトルの順序と符号を用いると、

\[ U_2= \begin{pmatrix} 1/\sqrt{2} & 1/\sqrt{6}\\ -1/\sqrt{2} & 1/\sqrt{6}\\ 0 & -2/\sqrt{6} \end{pmatrix},\qquad \Delta_2^{1/2}= \begin{pmatrix} \sqrt{2} & 0\\ 0 & \sqrt{2/3} \end{pmatrix} \]

である。 したがって、

\[ \tilde{X}=U_2\Delta_2^{1/2} =\begin{pmatrix} 1 & 1/3\\ -1 & 1/3\\ 0 & -2/3 \end{pmatrix} \]

となり、個体1、個体2、個体3の座標は、それぞれ\((1,1/3)\), \((-1,1/3)\), \((0,-2/3)\)である。 図では右上が個体1、左上が個体2、縦軸上の下側が個体3に対応する。

この布置から計算した距離の二乗は\(d_{12}^2=4\), \(d_{13}^2=d_{23}^2=2\)となり、与えられた\(D\)と一致することが確認できる。

[2]

[2-1]

距離の二乗を展開すると、

\[ \begin{aligned} d_{ij}^{2} &=(\boldsymbol{x}_i-\boldsymbol{x}_j)^{T}(\boldsymbol{x}_i-\boldsymbol{x}_j) \\ &=\boldsymbol{x}_i^{T}\boldsymbol{x}_i+\boldsymbol{x}_j^{T}\boldsymbol{x}_j -2\boldsymbol{x}_i^{T}\boldsymbol{x}_j \end{aligned} \]

となる。 これより、例えば\(n=2\)では

\[ D= \begin{pmatrix} d_{11}^{2} & d_{12}^{2}\\ d_{21}^{2} & d_{22}^{2} \end{pmatrix} \]

の各成分を並べると、

\[ \begin{aligned} D &=\begin{pmatrix} \boldsymbol{x}_1^{T}\boldsymbol{x}_1 & \boldsymbol{x}_1^{T}\boldsymbol{x}_1\\ \boldsymbol{x}_2^{T}\boldsymbol{x}_2 & \boldsymbol{x}_2^{T}\boldsymbol{x}_2 \end{pmatrix} + \begin{pmatrix} \boldsymbol{x}_1^{T}\boldsymbol{x}_1 & \boldsymbol{x}_2^{T}\boldsymbol{x}_2\\ \boldsymbol{x}_1^{T}\boldsymbol{x}_1 & \boldsymbol{x}_2^{T}\boldsymbol{x}_2 \end{pmatrix} \\ &\quad -2 \begin{pmatrix} \boldsymbol{x}_1^{T}\boldsymbol{x}_1 & \boldsymbol{x}_1^{T}\boldsymbol{x}_2\\ \boldsymbol{x}_2^{T}\boldsymbol{x}_1 & \boldsymbol{x}_2^{T}\boldsymbol{x}_2 \end{pmatrix} \\ &= \begin{pmatrix} \boldsymbol{x}_1^{T}\boldsymbol{x}_1 & 0\\ 0 & \boldsymbol{x}_2^{T}\boldsymbol{x}_2 \end{pmatrix} \begin{pmatrix} 1 & 1\\ 1 & 1 \end{pmatrix} + \begin{pmatrix} 1 & 1\\ 1 & 1 \end{pmatrix} \begin{pmatrix} \boldsymbol{x}_1^{T}\boldsymbol{x}_1 & 0\\ 0 & \boldsymbol{x}_2^{T}\boldsymbol{x}_2 \end{pmatrix} \\ &\quad -2 \begin{pmatrix} \boldsymbol{x}_1^{T}\boldsymbol{x}_1 & \boldsymbol{x}_1^{T}\boldsymbol{x}_2\\ \boldsymbol{x}_2^{T}\boldsymbol{x}_1 & \boldsymbol{x}_2^{T}\boldsymbol{x}_2 \end{pmatrix} \end{aligned} \]

となる。 また、\(n=3\)では

\[ D= \begin{pmatrix} d_{11}^{2} & d_{12}^{2} & d_{13}^{2}\\ d_{21}^{2} & d_{22}^{2} & d_{23}^{2}\\ d_{31}^{2} & d_{32}^{2} & d_{33}^{2} \end{pmatrix} \]

に対して、

\[ \begin{aligned} D &=\begin{pmatrix} \boldsymbol{x}_1^{T}\boldsymbol{x}_1 & \boldsymbol{x}_1^{T}\boldsymbol{x}_1 & \boldsymbol{x}_1^{T}\boldsymbol{x}_1\\ \boldsymbol{x}_2^{T}\boldsymbol{x}_2 & \boldsymbol{x}_2^{T}\boldsymbol{x}_2 & \boldsymbol{x}_2^{T}\boldsymbol{x}_2\\ \boldsymbol{x}_3^{T}\boldsymbol{x}_3 & \boldsymbol{x}_3^{T}\boldsymbol{x}_3 & \boldsymbol{x}_3^{T}\boldsymbol{x}_3 \end{pmatrix} \\ &\quad+\begin{pmatrix} \boldsymbol{x}_1^{T}\boldsymbol{x}_1 & \boldsymbol{x}_2^{T}\boldsymbol{x}_2 & \boldsymbol{x}_3^{T}\boldsymbol{x}_3\\ \boldsymbol{x}_1^{T}\boldsymbol{x}_1 & \boldsymbol{x}_2^{T}\boldsymbol{x}_2 & \boldsymbol{x}_3^{T}\boldsymbol{x}_3\\ \boldsymbol{x}_1^{T}\boldsymbol{x}_1 & \boldsymbol{x}_2^{T}\boldsymbol{x}_2 & \boldsymbol{x}_3^{T}\boldsymbol{x}_3 \end{pmatrix} \\ &\quad-2\begin{pmatrix} \boldsymbol{x}_1^{T}\boldsymbol{x}_1 & \boldsymbol{x}_1^{T}\boldsymbol{x}_2 & \boldsymbol{x}_1^{T}\boldsymbol{x}_3\\ \boldsymbol{x}_2^{T}\boldsymbol{x}_1 & \boldsymbol{x}_2^{T}\boldsymbol{x}_2 & \boldsymbol{x}_2^{T}\boldsymbol{x}_3\\ \boldsymbol{x}_3^{T}\boldsymbol{x}_1 & \boldsymbol{x}_3^{T}\boldsymbol{x}_2 & \boldsymbol{x}_3^{T}\boldsymbol{x}_3 \end{pmatrix} \\ &= \begin{pmatrix} \boldsymbol{x}_1^{T}\boldsymbol{x}_1 & 0 & 0\\ 0 & \boldsymbol{x}_2^{T}\boldsymbol{x}_2 & 0\\ 0 & 0 & \boldsymbol{x}_3^{T}\boldsymbol{x}_3 \end{pmatrix} \begin{pmatrix} 1 & 1 & 1\\ 1 & 1 & 1\\ 1 & 1 & 1 \end{pmatrix} \\ &\quad + \begin{pmatrix} 1 & 1 & 1\\ 1 & 1 & 1\\ 1 & 1 & 1 \end{pmatrix} \begin{pmatrix} \boldsymbol{x}_1^{T}\boldsymbol{x}_1 & 0 & 0\\ 0 & \boldsymbol{x}_2^{T}\boldsymbol{x}_2 & 0\\ 0 & 0 & \boldsymbol{x}_3^{T}\boldsymbol{x}_3 \end{pmatrix} \\ &\quad -2 \begin{pmatrix} \boldsymbol{x}_1^{T}\boldsymbol{x}_1 & \boldsymbol{x}_1^{T}\boldsymbol{x}_2 & \boldsymbol{x}_1^{T}\boldsymbol{x}_3\\ \boldsymbol{x}_2^{T}\boldsymbol{x}_1 & \boldsymbol{x}_2^{T}\boldsymbol{x}_2 & \boldsymbol{x}_2^{T}\boldsymbol{x}_3\\ \boldsymbol{x}_3^{T}\boldsymbol{x}_1 & \boldsymbol{x}_3^{T}\boldsymbol{x}_2 & \boldsymbol{x}_3^{T}\boldsymbol{x}_3 \end{pmatrix} \end{aligned} \]

と表せる。

ここで、正方行列\(A\)に対し、\(\operatorname{diag}(A)\)は\(A\)と同じ対角成分をもち、非対角成分がすべて\(0\)の対角行列とする。 上の第1項は\(XX^T\)の各対角成分を横に、第2項は縦に並べた行列であり、第3項は\(-2XX^T\)である。 したがって、一般の\(n\)について、\(XX^T\)と\(\boldsymbol{1}_n\)を用いて

\[ \begin{aligned} D &=\operatorname{diag}(XX^T)\boldsymbol{1}_n\boldsymbol{1}_n^T +\boldsymbol{1}_n\boldsymbol{1}_n^T\operatorname{diag}(XX^T) -2XX^T \end{aligned} \]

と表せる。

[2-2]

\(\boldsymbol{1}_n^{T}\boldsymbol{1}_n=n\)より、

\[ Q_n\boldsymbol{1}_n =\boldsymbol{1}_n-\frac{1}{n}\boldsymbol{1}_n(\boldsymbol{1}_n^{T}\boldsymbol{1}_n) =\boldsymbol{0} \]

である。 また、\(Q_n^{T}=Q_n\)なので\(\boldsymbol{1}_n^{T}Q_n=\boldsymbol{0}^{T}\)である。 [2-1]の式を代入して各項に\(Q_n\)を掛けると、

\[ \begin{aligned} P &=-\frac{1}{2}Q_nDQ_n \\ &=-\frac{1}{2}Q_n\operatorname{diag}(XX^T) \boldsymbol{1}_n(\boldsymbol{1}_n^TQ_n) \\ &\quad-\frac{1}{2}(Q_n\boldsymbol{1}_n)\boldsymbol{1}_n^T \operatorname{diag}(XX^T)Q_n \\ &\quad+Q_nXX^TQ_n \\ &=Q_nXX^TQ_n =(Q_nX)(Q_nX)^T \end{aligned} \]

となる。

[3]

主成分分析に用いる\(n\times p\)データ行列を\(X\)とし、各列を中心化した行列を\(X_c=Q_nX\)とする。 平均ベクトルを\(\bar{\boldsymbol{x}}=\frac{1}{n}\sum_{i=1}^{n}\boldsymbol{x}_i\)とすると、

\[ X_c^{T} = (Q_nX)^{T} = \begin{pmatrix} \boldsymbol{x}_1 - \bar{\boldsymbol{x}} & \boldsymbol{x}_2 - \bar{\boldsymbol{x}} & \cdots & \boldsymbol{x}_n - \bar{\boldsymbol{x}} \end{pmatrix} \]

である。 このとき、\(X_c\)を用いると分散共分散行列は

\[ \begin{aligned} S &= \frac{1}{n-1}\sum_{i=1}^n (\boldsymbol{x}_i - \bar{\boldsymbol{x}})(\boldsymbol{x}_i - \bar{\boldsymbol{x}})^{T} \\ &= \frac{1}{n-1} X_c^{T}X_c = \frac{1}{n-1} (Q_nX)^{T} (Q_nX) \end{aligned} \]

と表せる。 \(S\)の固有値を\(\gamma_1 \ge \gamma_2 \ge \cdots \ge \gamma_p\ (\ge 0)\)とし、\(\gamma_j\)に対応する\(S\)の長さ\(1\)の固有ベクトルを\(\boldsymbol{a}_j\)とし、互いに直交するように選ぶ。 すなわち

\[ S\boldsymbol{a}_j = \gamma_j\boldsymbol{a}_j,\quad \boldsymbol{a}_j^{T}\boldsymbol{a}_j = 1 \qquad (j=1, \ldots, p) \]

である。 手順(c)にあわせて、\(\gamma_k>0\)とする。 このとき、\(\boldsymbol{a}_1, \ldots, \boldsymbol{a}_k\)を並べた\(p\times k\)行列を\(A_k = (\boldsymbol{a}_1\ \cdots\ \boldsymbol{a}_k)\)とすると、\(k\)個の主成分得点からなる\(n\times k\)行列\(Z\)は

\[ Z = X_cA_k = (\boldsymbol{z}_1\ \cdots\ \boldsymbol{z}_k),\quad \boldsymbol{z}_j = X_c\boldsymbol{a}_j \]

である。 ここで、\(Z\)の第\((i,j)\)要素\((\boldsymbol{x}_i-\bar{\boldsymbol{x}})^{T}\boldsymbol{a}_j\)が、個体\(i\)の第\(j\)主成分得点となる。

一方、\(X\)の各行ベクトル\(\boldsymbol{x}_i^{T}\)を\(p\)次元空間の点とみなし、\(\boldsymbol{x}_i\)と\(\boldsymbol{x}_j\)間のユークリッド距離の二乗を第\((i,j)\)要素に持つ行列を\(D\)とする。 [2-2]より、

\[ P = -\frac{1}{2}Q_nDQ_n = (Q_nX)(Q_nX)^{T} = X_cX_c^{T} \]

であり、この\(P\)の固有値と固有ベクトルを考える。 このとき手順(b)より\(P = U\Delta U^{T}\)であり、\(U\)の第\(j\)列を\(\boldsymbol{u}_j\)とすると、\(\boldsymbol{u}_j\)は\(P\)の固有値\(\lambda_j\)に対応する長さ\(1\)の固有ベクトルである。 したがって、手順(c)の\(\tilde{X}\)は

\[ \tilde{X} = U_k\Delta_k^{1/2} = \bigl( \sqrt{\lambda_1}\,\boldsymbol{u}_1 \ \cdots\ \sqrt{\lambda_k}\,\boldsymbol{u}_k \bigr) \]

であり、その第\(j\)列は\(\sqrt{\lambda_j}\,\boldsymbol{u}_j\)である。

これらより、\(Z\)と\(\tilde{X}\)の関係を調べる。 \(S \boldsymbol{a}_j = \gamma_j \boldsymbol{a}_j\)に\(S = \frac{1}{n-1}X_c^{T}X_c\)を代入すると

\[ X_c^{T}X_c\boldsymbol{a}_j = (n-1)\gamma_j\boldsymbol{a}_j \]

となる。 両辺に左から\(X_c\)を掛けると

\[ X_cX_c^{T}(X_c\boldsymbol{a}_j) = (n-1)\gamma_j(X_c\boldsymbol{a}_j), \quad\text{すなわち}\quad P\boldsymbol{z}_j = (n-1)\gamma_j\boldsymbol{z}_j \]

となる。 さらに、\(\boldsymbol{z}_j\)の長さの二乗は

\[ \boldsymbol{z}_j^{T}\boldsymbol{z}_j = \boldsymbol{a}_j^{T}X_c^{T}X_c\boldsymbol{a}_j = (n-1)\gamma_j \boldsymbol{a}_j^{T} \boldsymbol{a}_j = (n-1)\gamma_j \]

となる。 \(\gamma_j>0\)より\(\boldsymbol{z}_j \neq \boldsymbol{0}\)となる。 よって\(\boldsymbol{z}_j\)は\(P\)の固有値\((n-1)\gamma_j\)に対応する固有ベクトルであることがわかる。

また、\(P\)の固有値\(\lambda>0\)に対応する固有ベクトルを\(\boldsymbol{u}\)とする。 このとき、\(P\boldsymbol{u}=\lambda\boldsymbol{u}\)の両辺に左から\(X_c^{T}\)を掛けると

\[ \begin{aligned} X_c^{T} P\boldsymbol{u} &= \lambda X_c^{T} \boldsymbol{u} \\ X_c^{T}X_c(X_c^{T}\boldsymbol{u}) &= \lambda(X_c^{T}\boldsymbol{u}) \\ (n-1)S(X_c^{T}\boldsymbol{u}) &= \lambda(X_c^{T}\boldsymbol{u}) \\ S(X_c^{T}\boldsymbol{u}) &= \frac{1}{n-1}\lambda(X_c^{T}\boldsymbol{u}) \end{aligned} \]

となる。 ここで、

\[ (X_c^{T}\boldsymbol{u})^{T}(X_c^{T}\boldsymbol{u}) = \boldsymbol{u}^{T}P\boldsymbol{u} = \lambda \boldsymbol{u}^{T}\boldsymbol{u} > 0 \]

より、\(X_c^{T}\boldsymbol{u} \neq\boldsymbol{0}\)であるから、\(\lambda/(n-1)\)は\(S\)の固有値であることがわかる。 対応する固有空間の間では、\(X_c\)と\(X_c^{T}\)による写像はいずれも単射なので、両固有空間の次元も等しい。 これより、\(P\)の正の固有値と\(S\)の正の固有値は\((n-1)\)倍の関係にあり、重複度も含めて大きさの順に対応し、

\[ \lambda_j = (n-1)\gamma_j \qquad (j=1,\ldots,k) \]

となる。

固有値に重複がなければ、\(P\)の固有値\(\lambda_j\)に対応する長さ\(1\)の固有ベクトルは符号を除いて一意であるから

\[ \boldsymbol{u}_j = \pm\frac{\boldsymbol{z}_j}{\|\boldsymbol{z}_j\|} = \pm\frac{\boldsymbol{z}_j}{\sqrt{(n-1)\gamma_j}} \]

となる。 よって

\[ \sqrt{\lambda_j}\,\boldsymbol{u}_j = \pm\sqrt{(n-1)\gamma_j}\cdot\frac{\boldsymbol{z}_j}{\sqrt{(n-1)\gamma_j}} = \pm\boldsymbol{z}_j \]

であり、\(\tilde{X}\)の各列は\(Z\)の対応する列に符号を除いて一致する。 すなわち、対角成分が\(1\)または\(-1\)である\(k\)次対角行列\(H\)を用いて

\[ \tilde{X} = ZH \]

と表せ、\(\boldsymbol{u}_j\)の符号を適当に選べば\(\tilde{X} = Z\)となる。 したがって、MDSによる布置と主成分得点による布置は、各軸の符号反転を除いて一致する。 また、固有値に重複が存在する場合は、その固有空間内での直交変換の任意性が加わる。 同じ\(k\)次元の主成分部分空間を選べば、\(H\)を\(k\)次の直交行列として\(\tilde{X}=ZH\)と書ける。 特に、第\(k\)固有値と第\(k+1\)固有値が等しい場合は、その固有空間から選ぶ部分空間も揃える。

以上より、同一データのユークリッド距離に基づくMDSの布置は、対応する主成分得点と、軸の選び方を除いて一致する。

なお、偏差積和行列\(X_c^TX_c\)を\(n\)で割った

\[ S' = \frac{1}{n}X_c^{T}X_c = \frac{n-1}{n}S \]

を用いた場合について\(n-1\)で割った\(S\)との関係について考えると次のようになる。 このとき、固有値は\(\frac{n-1}{n}\gamma_j\)となるが、固有ベクトル\(\boldsymbol{a}_j\)は変わらない。 したがって主成分得点\(Z = X_cA_k\)も変わらず、\(\tilde{X} = ZH\)が同様に成り立つ。

一般的に、\(n>p\)とし\(n\times p\)行列\(X\)に対して\(X^{T}X\)の固有値を\(\lambda_1 \ge \cdots \ge \lambda_p \ge 0\)とすると、\(XX^{T}\)の固有値は\(\lambda_1 \ge \cdots \ge \lambda_p \ge 0\)と\((n-p)\)個のゼロとなることが知られている。