[Python] 機械学習「重回帰分析」を行うプログラムを実装する

pip install numpy pandas scikit-learn matplotlib seaborn

import pandas as pd
import numpy as np
# サンプルデータの作成
np.random.seed(0)
広告費 = np.random.rand(100) * 1000  # 0から1000の範囲の広告費
販売促進費 = np.random.rand(100) * 500  # 0から500の範囲の販売促進費
売上 = 200 + 1.5 * 広告費 + 2.0 * 販売促進費 + np.random.randn(100) * 50  # 売上の計算
# データフレームの作成
データ = pd.DataFrame({
    '広告費': 広告費,
    '販売促進費': 販売促進費,
    '売上': 売上
})
print(データ.head())

広告費     販売促進費         売上
0  548.813504  215.189366  1090.155202
1  715.189366  204.236208  1160.052052
2  602.763376  164.882278  1030.052052
3  544.883183  196.582363  1090.155202
4  423.654799  186.193202  1000.052052

import pandas as pd
# CSVファイルの読み込み
データ = pd.read_csv('データセット.csv')
# データの確認
print(データ.head())

import pandas as pd
# データの読み込み
データ = pd.read_csv('データセット.csv')
# 欠損値の確認
print(データ.isnull().sum())
# 平均値で欠損値を補完
データ.fillna(データ.mean(), inplace=True)

# カテゴリ変数のワンホットエンコーディング
データ = pd.get_dummies(データ, columns=['カテゴリ変数名'], drop_first=True)

from sklearn.preprocessing import StandardScaler
# 標準化の実施
scaler = StandardScaler()
データ[['広告費', '販売促進費']] = scaler.fit_transform(データ[['広告費', '販売促進費']])

from sklearn.model_selection import train_test_split
# 特徴量とターゲットの分割
X = データ[['広告費', '販売促進費']]
y = データ['売上']
# 訓練データとテストデータの分割
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)
print(X_train.shape, X_test.shape)

from sklearn.linear_model import LinearRegression
# 重回帰モデルの作成
モデル = LinearRegression()

# モデルの学習
モデル.fit(X_train, y_train)

# モデルの予測
y_pred = モデル.predict(X_test)
# 予測結果の表示
print(y_pred)

from sklearn.metrics import r2_score
# 決定係数の計算
r2 = r2_score(y_test, y_pred)
print(f'決定係数(R²スコア): {r2:.2f}')

from sklearn.metrics import mean_squared_error
# 平均二乗誤差の計算
mse = mean_squared_error(y_test, y_pred)
print(f'平均二乗誤差(MSE): {mse:.2f}')

import pandas as pd
from statsmodels.stats.outliers_influence import variance_inflation_factor
# VIFの計算
X = データ[['広告費', '販売促進費']]  # 独立変数のデータフレーム
vif_data = pd.DataFrame()
vif_data['特徴量'] = X.columns
vif_data['VIF'] = [variance_inflation_factor(X.values, i) for i in range(X.shape[1])]
print(vif_data)

# 必要なライブラリのインポート
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import r2_score, mean_squared_error
from sklearn.preprocessing import StandardScaler
from statsmodels.stats.outliers_influence import variance_inflation_factor

# サンプルデータの作成
np.random.seed(0)
advertising_cost = np.random.rand(100) * 1000  # 0から1000の範囲の広告費
promotion_cost = np.random.rand(100) * 500  # 0から500の範囲の販売促進費
sales = 200 + 1.5 * advertising_cost + 2.0 * promotion_cost + np.random.randn(100) * 50  # 売上の計算

# データフレームの作成
data = pd.DataFrame({
    'Advertising Cost': advertising_cost,
    'Promotion Cost': promotion_cost,
    'Sales': sales
})

# データの前処理
data.fillna(data.mean(), inplace=True)  # 欠損値の補完
scaler = StandardScaler()
data[['Advertising Cost', 'Promotion Cost']] = scaler.fit_transform(data[['Advertising Cost', 'Promotion Cost']])  # 標準化

# 特徴量とターゲットの分割
X = data[['Advertising Cost', 'Promotion Cost']]
y = data['Sales']

# 訓練データとテストデータの分割
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

# 重回帰モデルの作成と学習
model = LinearRegression()
model.fit(X_train, y_train)

# モデルの予測
y_pred = model.predict(X_test)

# モデルの評価
r2 = r2_score(y_test, y_pred)
mse = mean_squared_error(y_test, y_pred)
print(f'決定係数(R²スコア): {r2:.2f}')
print(f'平均二乗誤差(MSE): {mse:.2f}')

# VIFの計算
vif_data = pd.DataFrame()
vif_data['Feature'] = X.columns
vif_data['VIF'] = [variance_inflation_factor(X.values, i) for i in range(X.shape[1])]
print(vif_data)

import statsmodels.api as sm

# 初期モデル
X_train_with_const = sm.add_constant(X_train)  # 定数項を追加
best_model = sm.OLS(y_train, X_train_with_const).fit()  # 最初のモデルをフィット

# 特徴量の選択
for feature in X_train_with_const.columns[1:]:  # 定数項を除く
    temp_model = sm.OLS(y_train, X_train_with_const[best_model.model.exog_names + [feature]]).fit()
    if temp_model.rsquared > best_model.rsquared:  # R²スコアが改善される場合
        best_model = temp_model

print(best_model.summary())

import statsmodels.api as sm

# 全ての特徴量を含むモデル
X_train_with_const = sm.add_constant(X_train)
best_model = sm.OLS(y_train, X_train_with_const).fit()

# 特徴量の削除
while len(best_model.params) > 1:  # Exclude the constant term
    p_values = best_model.pvalues
    max_p_value = p_values.max()
    if max_p_value > 0.05:  # If p-value exceeds significance level
        feature_to_remove = p_values.idxmax()
        X_train_with_const = X_train_with_const.drop(columns=[feature_to_remove])
        best_model = sm.OLS(y_train, X_train_with_const).fit()
    else:
        break

print(best_model.summary())

from sklearn.linear_model import Ridge

# リッジ回帰モデルの作成
ridge_model = Ridge(alpha=1.0)  # alphaは正則化パラメータ
ridge_model.fit(X_train, y_train)

# モデルの予測
y_pred_ridge = ridge_model.predict(X_test)

# モデルの評価
print(f'Ridge Regression R² Score: {r2_score(y_test, y_pred_ridge):.2f}')

from sklearn.linear_model import Lasso

# ラッソ回帰モデルの作成
lasso_model = Lasso(alpha=0.1)  # alphaは正則化パラメータ
lasso_model.fit(X_train, y_train)

# モデルの予測
y_pred_lasso = lasso_model.predict(X_test)

# モデルの評価
print(f'Lasso Regression R² Score: {r2_score(y_test, y_pred_lasso):.2f}')