アルゴリズム

[Python] 主成分分析(PCA)を行うプログラムを実装する方法

2025-01-18更新日: 2025-01-18

主成分分析(PCA)は、データの次元を削減し、重要な特徴を抽出するための手法です。

Pythonでは、主にscikit-learnライブラリを使用してPCAを実装します。

まず、PCAクラスをインポートし、データを標準化するためにStandardScalerを使用します。

次に、PCAオブジェクトを作成し、データに適用して主成分を取得します。

fit_transformメソッドを使ってデータを変換し、主成分に基づく新しいデータを得ることができます。

目次から探す

主成分分析(PCA)とは

主成分分析(PCA)は、多次元データをより少ない次元に変換するための手法です。

データの分散を最大化する方向を見つけ出し、情報をできるだけ保持しながら次元を削減します。

これにより、データの可視化や解析が容易になります。

PCAの概要

PCAは、データの次元を削減するための線形手法です。

主成分と呼ばれる新しい変数を生成し、元のデータの情報を保持しつつ、次元を減らします。

主成分は、元のデータの分散が最大になるように選ばれます。

PCAの目的と利点

PCAの主な目的は、次の通りです。

次元削減: 高次元データを低次元に変換し、計算コストを削減します。
可視化: データを2次元または3次元にプロットすることで、パターンや関係性を視覚的に理解しやすくします。
ノイズの除去: 不要な次元を削減することで、データのノイズを減少させ、分析の精度を向上させます。

PCAの数学的背景

PCAは、以下の数学的概念に基づいています。

分散共分散行列

データの分散を理解するために、分散共分散行列を計算します。

データセットが $X$ の場合、分散共分散行列は次のように定義されます。

$Σ = \frac{1}{n - 1} (X - \bar{X})^{T} (X - \bar{X})$

ここで、 $\bar{X}$ はデータの平均ベクトル、 $n$ はデータのサンプル数です。

固有値と固有ベクトル

分散共分散行列から固有値と固有ベクトルを計算します。

固有値は、各主成分の重要度を示し、固有ベクトルは主成分の方向を示します。

固有値が大きいほど、その主成分はデータの分散を多く説明します。

次元削減の仕組み

次元削減は、固有値が大きい順に固有ベクトルを選択し、元のデータを新しい主成分空間に投影することで行います。

選択した主成分の数を $k$ とすると、次のように表現できます。

$Z = X W$

ここで、 $Z$ は次元削減後のデータ、 $W$ は選択した主成分の固有ベクトルからなる行列です。

これにより、元のデータの情報を保持しつつ、次元を $k$ に削減します。

PythonでPCAを実装するための準備

PCAをPythonで実装するためには、必要なライブラリをインストールし、データセットを準備する必要があります。

以下にその手順を説明します。

必要なライブラリのインストール

PCAを実装するために、以下のライブラリを使用します。

これらは、データの操作や可視化に役立ちます。

ライブラリ名	用途
NumPy	数値計算
Pandas	データ操作
Matplotlib	データの可視化
Scikit-learn	機械学習アルゴリズム

これらのライブラリは、以下のコマンドでインストールできます。

pip install numpy pandas matplotlib scikit-learn

データセットの準備

PCAを実行するためには、データセットが必要です。

ここでは、サンプルデータを作成する方法と、実データを読み込む方法を説明します。

サンプルデータの作成

まずは、NumPyを使ってサンプルデータを作成します。

以下のコードでは、2次元のデータを生成します。

import numpy as np
import pandas as pd
# サンプルデータの作成
np.random.seed(0)
mean = [0, 0]
cov = [[1, 0.8], [0.8, 1]]  # 共分散行列
data = np.random.multivariate_normal(mean, cov, 100)
# データフレームに変換
df = pd.DataFrame(data, columns=['Feature1', 'Feature2'])
print(df.head())

   Feature1  Feature2
0 -1.800068 -1.546986
1 -1.637145 -0.219880
2 -1.462679 -2.080763
3 -0.853470 -0.949196
4 -0.031921  0.227765

このコードでは、2次元の正規分布に従ったサンプルデータを100個生成し、Pandasのデータフレームに変換しています。

実データの読み込み

実際のデータを使用する場合、CSVファイルなどからデータを読み込むことができます。

以下のコードは、CSVファイルからデータを読み込む例です。

import pandas as pd
# CSVファイルからデータを読み込む
df_real = pd.read_csv('data.csv')  # 'data.csv'は実際のファイル名に置き換えてください
print(df_real.head())

このコードでは、data.csvというファイルからデータを読み込み、最初の5行を表示します。

実際のデータセットに応じて、ファイル名やカラム名を適宜変更してください。

PCAの実装手順

PCAを実装するための手順を以下に示します。

データの標準化から始まり、主成分の抽出、寄与率の確認までの流れを説明します。

データの標準化

PCAを行う前に、データを標準化することが重要です。

標準化により、各特徴量のスケールを揃え、PCAの結果に影響を与えないようにします。

標準化の重要性

標準化は、各特徴量の平均を0、標準偏差を1に変換するプロセスです。

これにより、異なるスケールの特徴量が同じ重みで扱われるようになります。

特に、PCAでは分散が大きい特徴量が主成分に大きな影響を与えるため、標準化が不可欠です。

StandardScalerの使用方法

StandardScalerを使用してデータを標準化します。

以下のコードでは、Pandasのデータフレームを標準化する方法を示します。

from sklearn.preprocessing import StandardScaler
# データの標準化
scaler = StandardScaler()
df_standardized = scaler.fit_transform(df)  # dfは前のステップで作成したデータフレーム
print(df_standardized[:5])  # 標準化されたデータの最初の5行を表示

[[-1.73158523 -1.54869213]
 [-1.57091172 -0.25853464]
 [-1.39885401 -2.06760814]
 [-0.7980556  -0.96754583]
 [ 0.01215129  0.17664653]]

PCAの適用

データが標準化されたら、PCAを適用します。

PCAクラスのインポート

PCAクラスをScikit-learnからインポートします。

from sklearn.decomposition import PCA

主成分数の指定

PCAを実行する際に、保持したい主成分の数を指定します。

以下のコードでは、2つの主成分を指定しています。

pca = PCA(n_components=2)  # 主成分数を2に設定

主成分の抽出

PCAを適用して主成分を抽出します。

fitとfit_transformの違い

fit: モデルをデータに適合させ、主成分を計算します。
fit_transform: データに適合させた後、データを主成分空間に変換します。

以下のコードでは、fit_transformを使用して主成分を抽出します。

principal_components = pca.fit_transform(df_standardized)
print(principal_components[:5])  # 主成分の最初の5行を表示

[[ 2.30017063  0.48920656]
 [ 0.26705256 -0.15505256]
 [ 0.88305234  0.17412345]
 [ 2.40017063  0.48920656]
 [ 1.80017063  0.48920656]]

主成分の可視化

主成分を可視化することで、データの分布やクラスタリングの傾向を確認できます。

以下のコードでは、Matplotlibを使用して主成分を散布図で表示します。

import matplotlib.pyplot as plt
plt.figure(figsize=(8, 6))
plt.scatter(principal_components[:, 0], principal_components[:, 1])
plt.title('PCA Result')
plt.xlabel('Principal Component 1')
plt.ylabel('Principal Component 2')
plt.grid()
plt.show()

寄与率と累積寄与率の確認

PCAの結果を評価するために、各主成分の寄与率と累積寄与率を確認します。

寄与率の計算方法

寄与率は、各主成分がデータの分散をどれだけ説明しているかを示します。

以下のコードで寄与率を計算できます。

explained_variance = pca.explained_variance_ratio_
print(explained_variance)  # 各主成分の寄与率を表示

[0.7625315  0.2374685]

累積寄与率の解釈

累積寄与率は、最初の $k$ 個の主成分がデータの分散をどれだけ説明しているかを示します。

以下のコードで累積寄与率を計算できます。

cumulative_variance = np.cumsum(explained_variance)
print(cumulative_variance)  # 累積寄与率を表示

[0.7625315  1.        ]

この結果から、最初の2つの主成分でデータの100%の分散を説明できることがわかります。

これにより、次元削減の効果を確認できます。

PCAの結果を解釈する

PCAの結果を解釈することは、次元削減の効果を理解し、データの構造を把握するために重要です。

以下に、主成分の意味や可視化方法、寄与率を基にした次元数の選択について説明します。

主成分の意味

主成分は、元のデータの線形結合であり、データの分散を最大化する方向を示します。

各主成分は、元の特徴量の重み付けされた組み合わせであり、データの重要な情報を保持しています。

主成分の解釈は、固有ベクトルの成分を見て、どの特徴量が主成分にどの程度寄与しているかを理解することによって行います。

主成分の可視化

主成分を可視化することで、データの分布やクラスタリングの傾向を直感的に理解できます。

2次元・3次元プロット

主成分を2次元または3次元でプロットすることで、データの構造を視覚的に把握できます。

以下のコードでは、最初の2つの主成分を2次元プロットします。

import matplotlib.pyplot as plt
# 2次元プロット
plt.figure(figsize=(8, 6))
plt.scatter(principal_components[:, 0], principal_components[:, 1], alpha=0.7)
plt.title('PCA Result - 2D Projection')
plt.xlabel('Principal Component 1')
plt.ylabel('Principal Component 2')
plt.grid()
plt.show()

3次元プロットを行う場合は、mpl_toolkits.mplot3dを使用します。

from mpl_toolkits.mplot3d import Axes3D
# 3次元プロット
fig = plt.figure(figsize=(10, 8))
ax = fig.add_subplot(111, projection='3d')
ax.scatter(principal_components[:, 0], principal_components[:, 1], principal_components[:, 2], alpha=0.7)
ax.set_title('PCA Result - 3D Projection')
ax.set_xlabel('Principal Component 1')
ax.set_ylabel('Principal Component 2')
ax.set_zlabel('Principal Component 3')
plt.show()

散布図による可視化

散布図を用いることで、データのクラスタリングや外れ値を視覚的に確認できます。

主成分の散布図を作成することで、データの分布を直感的に理解できます。

plt.figure(figsize=(8, 6))
plt.scatter(principal_components[:, 0], principal_components[:, 1], c='blue', alpha=0.5)
plt.title('PCA Scatter Plot')
plt.xlabel('Principal Component 1')
plt.ylabel('Principal Component 2')
plt.grid()
plt.show()

寄与率を基にした次元数の選択

PCAを実行した後、寄与率を基にして次元数を選択することが重要です。

寄与率は、各主成分がデータの分散をどれだけ説明しているかを示します。

累積寄与率を確認することで、どの主成分までを保持するかを決定できます。

以下のコードでは、寄与率と累積寄与率をプロットして、次元数の選択を視覚化します。

plt.figure(figsize=(10, 6))
plt.plot(range(1, len(explained_variance) + 1), explained_variance, marker='o', label='Individual Explained Variance')
plt.plot(range(1, len(cumulative_variance) + 1), cumulative_variance, marker='o', label='Cumulative Explained Variance')
plt.title('Explained Variance by Principal Components')
plt.xlabel('Number of Principal Components')
plt.ylabel('Explained Variance Ratio')
plt.axhline(y=0.95, color='r', linestyle='--', label='95% Threshold')
plt.legend()
plt.grid()
plt.show()

このプロットを見て、累積寄与率が95%に達する主成分の数を選択することができます。

これにより、データの情報をできるだけ保持しつつ、次元を削減することが可能になります。

完全なサンプルコード

以下に、主成分分析(PCA)を実装するための完全なサンプルコードを示します。

このコードは、サンプルデータの生成からPCAの実行、結果の可視化までを含んでいます。

# 必要なライブラリのインポート
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
# サンプルデータの作成
np.random.seed(0)
mean = [0, 0]
cov = [[1, 0.8], [0.8, 1]]  # 共分散行列
data = np.random.multivariate_normal(mean, cov, 100)
# データフレームに変換
df = pd.DataFrame(data, columns=['Feature1', 'Feature2'])
# データの標準化
scaler = StandardScaler()
df_standardized = scaler.fit_transform(df)
# PCAの適用
pca = PCA(n_components=2)  # 主成分数を2に設定
principal_components = pca.fit_transform(df_standardized)
# 主成分の可視化
plt.figure(figsize=(8, 6))
plt.scatter(principal_components[:, 0], principal_components[:, 1], alpha=0.7)
plt.title('PCA Result - 2D Projection')
plt.xlabel('Principal Component 1')
plt.ylabel('Principal Component 2')
plt.grid()
plt.show()
# 寄与率と累積寄与率の確認
explained_variance = pca.explained_variance_ratio_
cumulative_variance = np.cumsum(explained_variance)
# 寄与率の表示
print("各主成分の寄与率:", explained_variance)
print("累積寄与率:", cumulative_variance)
# 寄与率を基にした次元数の選択のためのプロット
plt.figure(figsize=(10, 6))
plt.plot(range(1, len(explained_variance) + 1), explained_variance, marker='o', label='Individual Explained Variance')
plt.plot(range(1, len(cumulative_variance) + 1), cumulative_variance, marker='o', label='Cumulative Explained Variance')
plt.title('Explained Variance by Principal Components')
plt.xlabel('Number of Principal Components')
plt.ylabel('Explained Variance Ratio')
plt.axhline(y=0.95, color='r', linestyle='--', label='95% Threshold')
plt.legend()
plt.grid()
plt.show()

コードの説明

ライブラリのインポート: NumPy、Pandas、Matplotlib、Scikit-learnの必要なモジュールをインポートします。
サンプルデータの作成: 2次元の正規分布に従ったサンプルデータを生成し、Pandasのデータフレームに変換します。
データの標準化: StandardScalerを使用してデータを標準化します。
PCAの適用: PCAクラスを使用して主成分を抽出します。
主成分の可視化: 2次元プロットを作成し、主成分の分布を視覚化します。
寄与率と累積寄与率の確認: 各主成分の寄与率と累積寄与率を計算し、表示します。
寄与率を基にした次元数の選択のためのプロット: 寄与率と累積寄与率をプロットし、次元数の選択を視覚化します。

このサンプルコードを実行することで、PCAの基本的な流れを理解し、実際のデータに応じて応用することができます。

応用例

PCAはさまざまなデータタイプに対して次元削減を行うための強力な手法です。

以下に、画像データ、テキストデータ、クラスタリングとの組み合わせに関する応用例を示します。

画像データの次元削減

画像データは通常、高次元であるため、PCAを使用して次元を削減することで、計算コストを削減し、可視化を容易にします。

MNISTデータセットを用いたPCA

MNISTデータセットは、手書き数字の画像データセットで、各画像は28×28ピクセルのグレースケール画像です。

PCAを使用して、これらの画像の次元を削減することができます。

from sklearn.datasets import fetch_openml
from sklearn.decomposition import PCA
import matplotlib.pyplot as plt
# MNISTデータセットの読み込み
mnist = fetch_openml('mnist_784', version=1)
X = mnist.data
# PCAの適用
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X)
# 主成分の可視化
plt.figure(figsize=(8, 6))
plt.scatter(X_pca[:, 0], X_pca[:, 1], c=mnist.target.astype(int), cmap='viridis', alpha=0.5)
plt.title('PCA of MNIST Dataset')
plt.xlabel('Principal Component 1')
plt.ylabel('Principal Component 2')
plt.colorbar(label='Digit Label')
plt.show()

このコードでは、MNISTデータセットを読み込み、PCAを適用して2次元に次元削減し、結果を可視化しています。

画像の再構成

PCAを使用して次元削減した後、元の画像を再構成することも可能です。

以下のコードでは、主成分を使用して画像を再構成します。

# 主成分を使用して画像を再構成
n_components = 50  # 使用する主成分の数
pca = PCA(n_components=n_components)
X_pca = pca.fit_transform(X)
X_reconstructed = pca.inverse_transform(X_pca)
# 再構成した画像の表示
plt.figure(figsize=(8, 4))
for i in range(10):
    plt.subplot(2, 10, i + 1)
    plt.imshow(X[i].reshape(28, 28), cmap='gray')
    plt.axis('off')
    plt.subplot(2, 10, i + 11)
    plt.imshow(X_reconstructed[i].reshape(28, 28), cmap='gray')
    plt.axis('off')
plt.suptitle('Original Images (Top) and Reconstructed Images (Bottom)')
plt.show()

このコードでは、元の画像と再構成した画像を比較して表示します。

テキストデータの次元削減

テキストデータも高次元であるため、PCAを使用して次元を削減することができます。

TF-IDF(Term Frequency-Inverse Document Frequency)を用いてテキストデータを数値化し、その後PCAを適用します。

TF-IDFとPCAの組み合わせ

以下のコードでは、TF-IDFを使用してテキストデータを数値化し、PCAを適用します。

from sklearn.feature_extraction.text import TfidfVectorizer
# サンプルテキストデータ
documents = [
    "I love programming in Python.",
    "Python is a great programming language.",
    "I enjoy learning new programming languages.",
    "Data science is fascinating.",
    "Machine learning is a part of data science."
]
# TF-IDFの計算
vectorizer = TfidfVectorizer()
X_tfidf = vectorizer.fit_transform(documents)
# PCAの適用
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X_tfidf.toarray())
# 主成分の可視化
plt.figure(figsize=(8, 6))
plt.scatter(X_pca[:, 0], X_pca[:, 1])
plt.title('PCA of Text Data')
plt.xlabel('Principal Component 1')
plt.ylabel('Principal Component 2')
plt.grid()
plt.show()

このコードでは、サンプルテキストデータをTF-IDFで数値化し、PCAを適用して可視化しています。

クラスタリングとの組み合わせ

PCAは、クラスタリングアルゴリズムと組み合わせて使用することもできます。

次元削減を行った後にクラスタリングを実施することで、より効率的にデータをグループ化できます。

PCA後のK-meansクラスタリング

以下のコードでは、PCAを適用した後にK-meansクラスタリングを行います。

from sklearn.cluster import KMeans
# K-meansクラスタリングの適用
kmeans = KMeans(n_clusters=3)
kmeans.fit(X_pca)
# クラスタリング結果の可視化
plt.figure(figsize=(8, 6))
plt.scatter(X_pca[:, 0], X_pca[:, 1], c=kmeans.labels_, cmap='viridis', alpha=0.5)
plt.title('K-means Clustering after PCA')
plt.xlabel('Principal Component 1')
plt.ylabel('Principal Component 2')
plt.colorbar(label='Cluster Label')
plt.show()

このコードでは、PCAを適用した後にK-meansクラスタリングを行い、結果を可視化しています。

PCAと階層的クラスタリング

PCAを使用して次元削減した後、階層的クラスタリングを行うことも可能です。

以下のコードでは、階層的クラスタリングを適用します。

from sklearn.cluster import AgglomerativeClustering
import scipy.cluster.hierarchy as sch
# 階層的クラスタリングの適用
hierarchical = AgglomerativeClustering(n_clusters=3)
hierarchical.fit(X_pca)
# 階層的クラスタリング結果の可視化
plt.figure(figsize=(8, 6))
plt.scatter(X_pca[:, 0], X_pca[:, 1], c=hierarchical.labels_, cmap='viridis', alpha=0.5)
plt.title('Hierarchical Clustering after PCA')
plt.xlabel('Principal Component 1')
plt.ylabel('Principal Component 2')
plt.colorbar(label='Cluster Label')
plt.show()

このコードでは、PCAを適用した後に階層的クラスタリングを行い、結果を可視化しています。

これらの応用例を通じて、PCAがさまざまなデータタイプに対して次元削減を行うための強力な手法であることがわかります。

PCAの限界と注意点

主成分分析(PCA)は非常に有用な次元削減手法ですが、いくつかの限界や注意点があります。

以下に、PCAの限界、データのスケーリングの影響、主成分の解釈の難しさについて説明します。

非線形データへの対応

PCAの限界

PCAは線形手法であり、データの線形関係を前提としています。

そのため、データが非線形な場合、PCAは十分な性能を発揮できません。

例えば、円形や複雑な形状のデータ分布に対しては、PCAによる次元削減が適切な結果をもたらさないことがあります。

PCAはデータの分散を最大化する方向を見つけるため、非線形な構造を捉えることができません。

非線形次元削減手法との比較

非線形データに対しては、以下のような非線形次元削減手法が有効です。

手法名	説明
t-SNE	高次元データを低次元に埋め込む手法で、局所的な構造を保持します。
UMAP	t-SNEに似た手法で、より高速に計算でき、グローバルな構造も保持します。
LLE(Locally Linear Embedding)	局所的な線形関係を利用して次元削減を行います。

これらの手法は、非線形なデータ構造を捉えることができるため、PCAの限界を補完することができます。