統計的因果推論（バイアスの影響を測る回帰分析）

YAJIROBE BLOG

2020.03.01

統計的因果推論（対応が無い2標本t検定）RCTによるメールマーケティングの効果検証

https://techtech-sorae.com/統計的因果推論（対応が無い2標本t検定）rctによる

こんにちわ！やじろべえです。今回は統計的因果推論ということで、おそらく一番有名であろうRCT（Randomized Controlled Trial）による効果検証についてPythonで分析してみました。因果推論を学習するにあたり、何か参考書籍は無いか探していたところ良さげな一冊を発見しました。データ分析界隈で有名な方々もこちらの書籍を一押ししていたので、早速私も購入してみました。じわじわと安井本こと『効果検証入門』の影響が広がりつつあるのが見て取れる。因果推論は難しい統計学や機械学習を使わなくても「実験のやり方を一工夫するだ...

YAJIROBE BLOG

 

1 Pocket

2020.03.08

統計的因果推論（対応が無い2標本t検定）バイアスのあるデータの効果検証

https://techtech-sorae.com/統計的因果推論（対応が無い2標本t検定）バイアス

こんにちわ！やじろべえです。今回は因果推論シリーズの第二弾として、バイアスのあるデータを疑似的に作り、その効果検証をしてみました。因果推論第一弾（RCTによる効果検証）はこちらの記事をご覧下さいませ。 今回も教科書は下記の書籍を参考にしています。内容の多くが因果推論をビジネス利用する観点で書かれており、現場でデータ分析する人は読んでおいて損は無いと思います。効果検証入門〜正しい比較のための因果推論/計量経済学の基礎第一弾と同じように、データセットはMineThatData E-Mail Analytics And Data Mining...

効果検証入門〜正しい比較のための因果推論/計量経済学の基礎

データの読込と女性向けメール配信レコードの削除

import pandas as pd
import numpy as np
from scipy import stats
import statsmodels.api as sm

df = pd.read_csv('./MineThatData_E-MailAnalytics.csv')
mens_df = df[df['segment'] != 'Womens E-Mail']
 
# 男性向けにメール配信があったユーザーにフラグ付け
mens_df['treatment'] = 0
mens_df['treatment'].where(mens_df['segment'] != 'Mens E-Mail', 1, inplace=True)

バイアスのあるデータの作成

• 昨年の購入額が300より高い（history > 300）
• 最後の購入が6より小さい（recency < 6)
• 接触チャンネルが複数ある（channel = Multichannel）

# メール配信の担当者が購買傾向が一定以上あるユーザーに重点的にメール配信をした状況を再現するデータセットの作成
bias_rules = (mens_df['history'] > 300) | (mens_df['recency'] < 6) | (mens_df['channel'] == 'Multichannel')
biased_df = pd.concat([
    mens_df[(bias_rules) & (mens_df.treatment == 0)].sample(frac=0.5, random_state=1),
    mens_df[(bias_rules) & (mens_df.treatment == 1)],
    mens_df[(~bias_rules) & (mens_df.treatment == 0)],
    mens_df[(~bias_rules) & (mens_df.treatment == 1)].sample(frac=0.5, random_state=1)
], axis=0, ignore_index=True)

RCTデータとバイアスのあるデータ単回帰分析

• RCTデータ

X = mens_df[['treatment']]
X = sm.add_constant(X)
y = mens_df['spend']

model_rct = sm.OLS(y, X)
results_rct = model_rct.fit()

summary = results_rct.summary()
rct_reg_coef = summary.tables[1]
rct_reg_coef

• セレクションバイアスのあるデータ

X = biased_df[['treatment']]
X = sm.add_constant(X)
y = biased_df['spend']

model_biased = sm.OLS(y, X)
results_biased = model_biased.fit()

summary = results_biased.summary()
biased_reg_coef = summary.tables[1]
biased_reg_coef

バイアスのあるデータで重回帰分析

X = pd.get_dummies(biased_df[['treatment', 'recency', 'channel', 'history']], columns=['channel'], drop_first=True)
X = sm.add_constant(X)
y = biased_df['spend']

model_biased = sm.OLS(y, X)
results = model_biased.fit()

summary = results.summary()
biased_reg_coef = summary.tables[1]
biased_reg_coef

まとめ

参考書籍

• 効果検証入門（正しい比較のための因果推論/計量経済学の基礎）