kaggleにチャレンジ！ケプラー衛星のデータを使って第二の地球を機械学習で探してみた

さて、今回はExoplanet Hunting in Deep Spaceというkaggleのコンペからkeplerで観測されたデータを使いました。

このコンペではあらかじめトレーニングデータとテストデータがCSV形式で用意されていますので、まずはそれらを読み込みます。

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

data_path = "./"
train = pd.read_csv(data_path+"exoTrain.csv")
test = pd.read_csv(data_path+"exoTest.csv")</pre>
<pre class="lang:python decode:true " title="kepler_train_head">train.head()</pre>

<img class="alignnone size-large wp-image-482" src="https://techtech-sorae.com/wp-content/uploads/2019/03/kepler_trainHead-1024x227.jpg" alt="" width="525" height="116" />
</div>
<pre class="lang:python decode:true " title="kepler_testHead">test.head()

カラム：LABELは2が太陽系外惑星で、1が太陽系外惑星ではないことを表しています。
fluxはkeplerが観測した星の光の強度です。

今回はfluxから系外惑星が否かを推定したいので、LABELはパラメータから外しておきます。

X_train = train.drop('LABEL', axis=1)
y_train = train.LABEL
X_test = test.drop('LABEL', axis=1)
y_test = test.LABEL

次に、系外惑星のfluxをグラフ化してそこから何か特徴が無いかを見ていきます。

for i in range(4):
    Y = X_train.iloc[i]
    X = np.arange(len(Y))
    plt.figure(figsize=(15,5))
    plt.ylabel('Flux')
    plt.xlabel('Observation')
    plt.plot(X, Y)
    plt.show()

う～む、、私レベルの知識ではこのグラフから特徴を見出すことは難しそうです。
分かることと言えば、系外惑星と言っても星の光の強度は全然異なる…ことくらいですかね。。

モデルの生成・精度検証

from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC, LinearSVC
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.neural_network import MLPClassifier
from sklearn.pipeline import Pipeline
from sklearn.metrics import accuracy_score

# set pipelines for different algorithms
pipelines = {
    'knn':
        Pipeline([('scl',StandardScaler()),
                  ('est',KNeighborsClassifier())]),
    'logistic':
        Pipeline([('scl',StandardScaler()),
                  ('est',LogisticRegression(random_state=1))]),
    'rsvc':
        Pipeline([('scl',StandardScaler()),
                  ('est',SVC(C=1.0, kernel='rbf', class_weight='balanced', random_state=1))]),
    'lsvc':
        Pipeline([('scl',StandardScaler()),
                  ('est',LinearSVC(C=1.0, class_weight='balanced', random_state=1))]),
    'tree':
        Pipeline([('scl',StandardScaler()),
                  ('est',DecisionTreeClassifier(random_state=1))]),
    'rf':
        Pipeline([('scl',StandardScaler()),
                  ('est',RandomForestClassifier(random_state=1))]),
    'gb':
        Pipeline([('scl',StandardScaler()),
                  ('est',GradientBoostingClassifier(random_state=1))]),
    'mlp':
        Pipeline([('scl',StandardScaler()),
                  ('est',MLPClassifier(hidden_layer_sizes=(3,3),
                                       max_iter=1000,
                                       random_state=1))])
}
# fit & evaluation
scores = {}
for pipe_name, pipeline in pipelines.items():
    pipeline.fit(X_train, y_train)
    scores[(pipe_name,'train')] = accuracy_score(y_train, pipeline.predict(X_train))
    scores[(pipe_name,'test')] = accuracy_score(y_test, pipeline.predict(X_test))

pd.Series(scores).unstack()

結果を見てみると、まずは未知のデータ（テストデータ）に着目してみると、どのアルゴリズムでも良い精度が出ていることが確認できます。
トレインデータとの差もほとんどなく、過学習もしていなさそうです。

生データを突っ込んでアルゴリズムで力技的に分類してみましたが、なかなか良い結果が得られました。

最後に

kepler衛星のデータを使って系外惑星か否かを分類するタスクにチャレンジしてみました。
生データをそのまま使っても精度良い結果が得られました。

他の方のカーネルを見てみると、フーリエ変換を前処理として行っていたりしていましたが、星の観測データの分野ではどのように前処理しているのでしょうか？
ここらへんの知見があるともっと良いやり方（王道的なやり方）があるのでしょうか？

ちなみに、kepler衛星データの最新の分析によると、夜空に見える恒星の20%～50%には地球と同じくらいの岩石惑星は液体の水を惑星の表面に持つかもしれないと結論づけられているようです。

水があるということは生命体がいる可能性もありますよね！

とてもロマン溢れるデータ分析でした。
今後の研究に期待しましょう！

オススメ書籍

前処理大全[データ分析のためのSQL/R/Python実践テクニック]