Chapter2で扱ったLightGBMでは、問題が一つありました。
それは、他の馬のデータを扱うことが難しいという点です。
Chapter2では、同じレース内の強そうな馬の特徴量を入れていました。
しかし、統計的に(上位3位を取ってくるなど)扱うために、多くの他の馬のデータが削ぎ落とされてしまいました。
また、出力データも同様に、馬一匹に対して予測をするために、他の馬の結果が相互作用することを考慮できませんでした。
これらの問題点は、LightGBMが多出力に対応していないため、引き起こされれる事象です。
そこで、Chapter3ではNeural Networkを使って多出力モデルを構築し、精度や利益が向上するのかを確かめてみたいと思います。
※また、以下の項目についてはこの本に記載はしていませんが、実験しています
- Neural Networkおよび学習パラメータの調整
- 過学習対策
- ネットワーク形状の違い(Resnet, DenseNet)
ただし、どれも利益がでるような結果にはなりませんでしたし、Section構成が複雑になるため省略します。
また、RNNやLSTM、GRNなどのリカレントモデルを利用することも検討しましたが、順序データとしての規則性が薄いため、学習が困難になるだけだと判断し、利用しませんでした。
Transformerについては、学習データが数万程度なので、学習できないと判断しました。
