—
無特征工程的神經網絡模型(得分 5.34X)
比賽進入最后階段,現在是時候深入了解一些關于神經網絡模型的見解了。由于 Kaggle 討論區的需求,我在這里分享兩個神經網絡模型。第一個是 LSTM 模型,第二個是卷積網絡(ConvNet)。有趣的是,使用 LSTM 或 ConvNet,在沒有任何特征工程的情況下,你可以達到 5.3505 的得分(甚至達到 5.348X)。
通過僅僅結合一些失衡特征,使用 ConvNet 或 LSTM 就可以獲得 5.3439 的得分。我已經附上了兩個 notebook 供大家參考。
這些模型可以通過增加額外的特征(如全球股票統計)和優化來進一步提升,達到 5.33X 的得分范圍。它們與樹模型很好地結合,有可能將 LB 得分降低超過 0.01。
ConvNet 結構的一個重要方面是使用了殘差連接,這顯著提升了性能。
你可以在 Kaggle 上找到這些模型。以下是 LSTM 和 ConvNet 模型的鏈接:
- ConvNet: Optiver Conv Just IMB Inference Cleanup
- LSTM: Optiver No FE LSTM Inference Cleanup
此外,你可以在提供的倉庫中探索更多內容:
Optiver Trading Close Repository