勾配ブースティング

Light BGMなどに見られる勾配ブースティングですが、勾配ブースティングとは一体どのようなものでしょうか。

勾配ブースティングは決定木を基にしたアルゴリズムなので、回帰分析などよりも少ない情報量で予想ができます。

ただし、過学習に陥る危険性があります。

それを防ぐシステムとして、機械学習アルゴリズムの中に ‘early stopping’ が組み込まれています。